Hadoop
李格非
这个作者很懒,什么都没留下…
展开
-
hadoop fs -mkdir testdata错误 提示No such file or directory
hadoop fs -mkdir testdata错误 提示No such file or directory(版本2.4.1) 解决方法: hadoop fs -mkdir -p /user/hadoop/testdata原创 2015-08-02 08:58:07 · 2870 阅读 · 0 评论 -
org.apache.hadoop.util.Shell$ExitCodeException
在集群上跑程序遇到如下错误:16/04/27 19:59:37 INFO mapreduce.Job: map 0% reduce 0%16/04/27 19:59:37 INFO mapreduce.Job: Job job_1461208377524_0545 failed with state FAILED due to: Application application_146120837原创 2016-04-27 20:25:29 · 2870 阅读 · 0 评论 -
多次读取reduce函数中迭代器的数据
spark,hadoop交流群,QQ群号:521066396,欢迎加入共同学习,一起进步~第一次碰到读取reduce函数中迭代器的数据只能取一次的问题。为了优化,在reduce函数中,Iterable values只能被读取一次。查阅相关资料,如果要反复使用,需要克隆或者新生成对象。举个简单例子: 如果在reduce函数中读过values,for (Text value : values) {原创 2016-05-13 16:30:20 · 1515 阅读 · 0 评论 -
Hadoop多个输入案例
需求:将原始数据文件和类别数据文件根据用户id合并成一个文件。 原始数据文件:用户id,详细信息 类别数据文件:用户id,所属类别 两个Mapper分别为OriDataMapper,IdKindDataMapper,输出key,value均为Text。private void job1(Configuration config, Path outputdata, String idkindda原创 2016-03-08 19:04:47 · 1745 阅读 · 0 评论 -
Hadoop多个输出案例
需求:将原始数据按近似比例采样,将数据分为训练集和测试集。训练集存放于指定输出目录的train目录下,测试集存放于指定输出目录的test目录下。class SampleMapper extends Mapper<LongWritable, Text, NullWritable, Text> { private double ratio; private Random random =原创 2016-06-05 18:51:48 · 431 阅读 · 0 评论 -
Ubuntu Hadoop 2.x 动态添加节点
spark,hadoop交流群,QQ群号:521066396,欢迎加入共同学习,一起进步,没有广告~ 一、Hadoop运行环境配置 1、修改系统hostname(/etc/hostname文件) 2、修改hosts文件,将集群所有节点hosts配置进去(/etc/hosts文件) 3、设置主节点到新增节点的免密码登录 将主节点的~/.ssh目录下的id_rsa.pub文件内容添加至每原创 2016-06-26 22:51:38 · 349 阅读 · 0 评论 -
Hadoop集群使用双网卡问题
spark,hadoop交流群,QQ群号:521066396,欢迎加入共同学习,一起进步~问题描述:原本hadoop集群使用的是动态IP,当断电的时候,IP发生改变,就要修改hosts文件,工作量大。后来改用主节点为双网卡,一个动态IP,一个静态IP,目的是让集群内部使用静态IP,用户通过动态IP访问集群。但是有部分NodeManager无法启动,而DFS的状态是正常的。 解决: (1)在hos原创 2016-10-13 19:46:15 · 4551 阅读 · 0 评论