![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
haoop
shilu963
这个作者很懒,什么都没留下…
展开
-
搭建hadoop全分布遇到的问题
问题1: ERROR: Cannot set priority of datanode process 1540原因:配置文件不完全相同解决办法:1.将生成的文件删除 2.删除slave的配置文件,将master的全部copy过来,保证所有的配置文件都相同。此处可以使用scp命令。 问题2:缺少用户自定义解决办法:1. 在start-dfs.sh和stop-dfs.sh中添加...原创 2019-02-27 10:03:08 · 1293 阅读 · 0 评论 -
hdfs文件的上传与下载
package com;import jdk.internal.util.xml.impl.Input;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import java.io.*;public cla...原创 2019-07-02 18:07:57 · 333 阅读 · 0 评论 -
hadoop-----wordcount实现
package com.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import jav...原创 2019-07-04 14:38:32 · 118 阅读 · 0 评论 -
通过mapreduce框架 ,根据上行流量和下行流量统计用户流量总和。
代码类似于使用mapreduce统计单词个数代码中未作过多的注释,注释和上一篇博客的内容相似 左边的图 是输入 三列分别是 : 手机号 上行流量 下行流量 左边的图是输出 四列分别代码:手机号 上行流量 下行流量 流量总和...原创 2019-09-10 17:50:46 · 505 阅读 · 0 评论 -
mapreduce解决简单的数据倾斜
原创 2019-09-27 15:51:42 · 173 阅读 · 0 评论