hadoop
axj1990
这个作者很懒,什么都没留下…
展开
-
hadoop操作遇到的问题
问题一:输出文件已存在在运行wordcount时,main函数接收文件输入和输出参数时,使用hadoop jar wc.jar com.hadoop.WordCountDriver /intup /output,报output file Already exists。用的hadoop-2.7.5,程序完全正确解决方法:hadoop jar wc.jar /intup /output,不需要mai...原创 2018-06-21 15:25:44 · 256 阅读 · 0 评论 -
HDFS写数据流程
在客户端上传文件:hadoop hf -put xxx.txt时,流程如下图所示:1.客户端向NameNode发送上传文件请求:hadoop hf -put xxx.avi /aaa2.NameNode对客户端进行响应,文件系统可以上传文件;3.客户端通过rpc请求NameNode上传第一个block文件块,块的大小默认是128MB,主要是请求文件系统下将block写到哪个dataNode。4....原创 2018-06-14 13:20:46 · 200 阅读 · 0 评论 -
关于HDFS的 block、packet与chunk详解
block、packet与chunk在DFSClient写HDFS的过程中,有三个需要搞清楚的单位:block、packet与chunk;block是最大的一个单位,它是最终存储于DataNode上的数据粒度,由dfs.block.size参数决定,默认是64M;注:这个参数由客户端配置决定;packet是中等的一个单位,它是数据由DFSClient流向DataNode的粒度,以dfs.write...转载 2018-06-14 13:34:38 · 3317 阅读 · 4 评论