hadoop
BigCabbageFy
这个作者很懒,什么都没留下…
展开
-
【问题解决】利用Eclipse,在hadoop上传文件到hdfs没有内容
本文适用于一些在网上找了半天答案都没解决问题的人群,因为我也是在按网上说道弄了一天,最后才解决的。如果你是刚遇到问题,还没有深入,建议你查看这篇文章 http://f.dataguru.cn/hadoop-208802-1-1.html 将问题一步一步排除后仍没有解决的话,可以试试我这个方法。如果还是不行,那就我也无能为力了,革命道路还很漫长,你仍需努力啊!!(笑哭)问题描述: 它没...原创 2018-04-08 09:03:30 · 5671 阅读 · 3 评论 -
【问题解决】Error contacting service. It is probably not running.
在启动zookeeper过程中遇到了下面这个问题: 查看了日志文件: 仍然看不出问题,度娘了半天也没有解决,各种重启,重新配置myid,在快要放弃的时候,想到了防火墙。因为我用的是在虚拟机下搭建的完全分布式集群,每次重开的时候都要关一下防火墙,想到上次hadoop 上传文件问题也是由于防火墙没启动,抱着试一试的态度,关了一下防火墙,结果真成功了。 重新启动zkServer.sh ...原创 2018-04-10 18:26:16 · 2223 阅读 · 0 评论 -
问题处理Shutting down NameNode at java.net.UnknownHostException: node1: node1: Name or service not known
刚配置hadoop2.2,格式化namenode时候报的这个错。原因是hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名在/etc/hosts文件中进行映射的时候,没有找到,也就是名字不一样。这里需要修改一下用户的主机名。查看自己用户的主机名:hostname查看/etc/hosts内容:cat /etc/hosts 发现自己的hosts中并没有nod...原创 2018-04-05 21:56:11 · 4412 阅读 · 0 评论 -
大数据笔记 1--hadoop中的hdfs写数据流程详解
上图是一个简版的流程图,图画的不标准,但能说明问题就OK,下面是根据上图描述的写数据流程,如有不对的地方请指教。注:以下简化名称所对应的全称:NN == NameNode;IO == hdfsFileoutputStream;DN == DataNode;DN1 == DataNode1;DN2 == DataNode2;DN3 == DataNode3;详细流程1、当需要向H...原创 2018-09-27 19:39:54 · 381 阅读 · 0 评论 -
大数据笔记 2--hdfs读数据流程
注:以下简化名称所对应的全称:NN == NameNode;IO == hdfsFileinputStream;DN == DataNode;DN1 == DataNode1;DN2 == DataNode2;DN3 == DataNode3;详细流程:1、客户端向NN发送一个带有相关文件的路径请求,例如hdfs://input/xx.txt这样的一个读文件请求;2、NN会在元...原创 2018-09-27 20:24:35 · 295 阅读 · 0 评论 -
大数据笔记 3--MapReduce工作流程
详细步骤:1、客户端会提交相应的切片、jar包、配置文件信息到Yarn上,Yarn上的AppMater会为mapreduce申请相应的资源;2、AppMater根据相关信息计算给mapreduce程序分配出几个MapTask资源。3、 MapTask会利用InputFormat中的recorderReader将待处理的文本分割成<k,v>键值对的形式,然后根据用户自定义的Map...原创 2018-09-28 18:19:46 · 312 阅读 · 0 评论