Hadoop问题整理记录
文章平均质量分 89
lipeng_bigdata
这个作者很懒,什么都没留下…
展开
-
HDFS读取文件失败Incorrect value for packet payload size
一、现象 Hadoop-2.7.2中,使用hadoop shell命令行读取文件内容时,针对大文件,会有如下报错,小文件则不会。hadoop fs -cat /tmp/hue_database_dump4.json 16/09/29 15:13:37 WARN hdfs.DFSClient: Exception while r原创 2016-09-30 10:41:01 · 3132 阅读 · 0 评论 -
Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问
1、TcpPeerServer的数据接收缓冲区大小 Hadoop-2.7.0的DataXceiverServer中,在DataNode中对其初始化时,会构造一个TcpPeerServer,并设置数据接收缓冲区大小如下:tcpPeerServer.setReceiveBufferSize(HdfsConstants.DEFAULT_DATA_SOCKET_SIZE); 这原创 2016-12-07 18:46:21 · 960 阅读 · 0 评论