![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
张鱼小丸子V
这个作者很懒,什么都没留下…
展开
-
MapReduce打jar包上传hdfs运行
MapReduce打jar包上传hdfs运行上传原数据文件到hdfshdfs dfs -mkdir /datas/hdfs dfs -put data1.txt /datas/pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in原创 2020-10-30 10:28:20 · 1746 阅读 · 0 评论 -
MapReducer清洗实操JSON格式转字符串
需求源数据{“date”:“2020-02-03”.“city”:“beijing”}目标数据2020/02/03,beijingMapper部分package weatherdata3;import net.sf.json.JSONObject;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;i原创 2020-10-09 17:37:37 · 375 阅读 · 0 评论 -
json格式转换为简单字符串格式Mapreduce清洗实操不创建JavaBean对象
json格式转换为简单字符串格式Mapreduce清洗实操不创建JavaBean对象对于我上一个博客通过创建JavaBean对象来将json格式转换成简单字符串格式,我想应该有更简单的办法来改变格式,于是我又写了这个博客,除了Mapper部分有所改变之外,Reducer部分和Driver部分与我的上一个博客相同。Mapper部分import net.sf.json.JSONObject;import org.apache.hadoop.io.LongWritable;import org.apac原创 2020-10-09 17:37:09 · 158 阅读 · 0 评论 -
json格式转换为简单字符串格式Mapreduce清洗实操
需求利用Hadoop MapReduce对文件进行处理源文件:(局部){"date":" 2020.9.3","temp":" 17-28","city":"北京","weather":" 多云","wind":" 无持续风向 3-4级"}处理后的结果:(局部)北京, 2020.9.3, 多云, 17-28, 无持续风向 3-4级提示:把json格式转换为简单字符串格式:依赖:<dependency> <groupId>common原创 2020-10-09 17:36:47 · 278 阅读 · 0 评论 -
MapReduce案例WeatherData气象数据清洗
MapReduce案例WeatherData气象数据清洗准备源文件。准备天气气象文件在IDEA新建Maven项目,并在pom.xml中添加依赖原创 2020-09-05 15:06:48 · 2322 阅读 · 0 评论 -
MapReduce输出结果乱码
MapReduce输出结果中文乱码如图所示,中文本部分乱码只需要在map函数中把String line = value.toString();改成String line=new String(value.getBytes(),0,value.getLength(),"GBK");即可。原创 2020-09-05 11:15:36 · 1010 阅读 · 0 评论 -
WordCount词频分析pom.xml配置依赖
WordCount词频分析pom.xml配置依赖在这里插入代码片```<repositories> <repository> <id>cloudera</id> <name>cloudera</name> <url>https://repository.cloudera.com/artifactory/cloudera-repos/&原创 2020-09-03 14:14:18 · 324 阅读 · 0 评论 -
WordCount案例运行报错org.apache.hadoop.metrics2.lib.MutableMetricsFactory
WordCount案例报错log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).解决方法:在resources文件夹中新建log4j.properties文件添加以下内容:hadoop.root.logger=DEBUG, consolelog4j.rootLogger = DEBUG, consolelog4j.appender.co原创 2020-09-03 13:53:29 · 1714 阅读 · 0 评论 -
MapReduce案例WordCount
WordCount项目在IDEA中写WordCount案例前期准备:准备一个文本文档hello.txt内容如下:新建Maven项目在pom.xml添加依赖,这里我的Hadoop是2.7.2版本的<repositories> <repository> <id>cloudera</id> <name>cloudera</name> &l原创 2020-09-03 13:42:25 · 109 阅读 · 0 评论