![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 68
wister136
我是
展开
-
Hadoop在安装过程中的hosts的配置
问题:当已经安装好haodoop集群之后,就可以使用hadoop集群来调用mapreduce进行例如wordcount的实例,但是一直出现不能链接的问题:解决方法:1.先查看是不是的防火墙开启,将防火墙关闭:service iptbales stop2.查看端口状态:telnet 192.168.86.10 9000(192.168.86.10是我自己的静态ip)原创 2017-07-21 11:18:58 · 4249 阅读 · 0 评论 -
Hadoop集群无法启动datanode的解决方法
之前在hadoop在一起重启之后就不能看到datanode的启动,其中logs的日志显示:2017-07-15 10:30:09,496 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock fro原创 2017-08-07 19:56:55 · 2694 阅读 · 0 评论 -
Hadoop的WordCount案例
第一步:先建立一个mapper类注:WordCountMapper继承了Mapper类,重写了map()方法,定义了输入的文件的内容的类型:LongWritable, Text和输出的类型:Text, IntWritable。package cn.lsm.bigdata.WordCount;import java.io.IOException;impor原创 2017-07-24 16:13:51 · 715 阅读 · 0 评论 -
Hadoop的计算上下行流量的案例
问题:统计每一用户的(手机号)所消耗的总的上行流量,下行流量,总流量思路:1.建立mapper,reducer,job 2.与之间的worcount的区别在于,输出的结果不是一个,而是多个,所以需要我们将需要输出的数据封装到一个类中1.建立mapper,reducer,job(将三者放在一个类中或者分开写)package cn.lsm.bigdata.原创 2017-07-25 14:31:26 · 799 阅读 · 0 评论 -
hadoop-2.7 在windows环境下安装
最近折腾文件系统,用到了Hadoop,虽然项目是部署在Linux下的。但自己平时开发用的是windows系统(本人用的是win10 64bit)。为了方便开发和调试,所以打算在windows环境下安装hadoop。 往上找了几篇文章,都说得不是很详细。安装过程中遇到了一些问题,索性自己折腾了一番,终于搞好了。准备条件:转载 2017-08-06 18:02:11 · 607 阅读 · 0 评论 -
hadoop-2.7 在windows环境下安装
http://blog.csdn.net/guochunyang/article/details/7614749964位windows安装Hadoop没必要倒腾Cygwin,直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk,设置了Java环境变量。下面把这几步细化贴出来,以hadoop2.7.2为例转载 2017-08-07 11:20:45 · 904 阅读 · 1 评论