HDFS
程序猿渣渣帅
技术、生活、观点、个人成长。 主要关注互联网电商广告业务、数据分析方法论、大数据分析平台建设;java web、分布式、大数据处理以及可视化等相关技术。
展开
-
HDFS上传文件保存Got error, status message , ack with firstBadLink
[root@node1 ~]# hadoop fs -put test.txt /test.txt18/09/08 07:40:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable1...原创 2018-09-08 19:50:41 · 4399 阅读 · 0 评论 -
在Windows下的idea中访问HDFS报错 Could not locate executable null\bin\winutils.exe
18/09/08 20:18:33 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at...原创 2018-09-08 20:24:14 · 658 阅读 · 0 评论 -
HDFS流式上传文件
借助工具类import org.apache.hadoop.io.IOUtils;实现直接从一个输入流往HDFS的输出流中写数据 public static void main(String[] args) throws Exception{ System.setProperty("hadoop.home.dir", "D:\\hadoop\\hadoop-2.7.3");...原创 2018-09-08 21:04:55 · 1072 阅读 · 0 评论 -
HDFS上传文件后datanode元数据目录和和datanode数据目录的变化
目录1、namenode目录存储的元数据信息2、datanode存储的数据块信息3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储4、问题HDFS2.7默认的块大小为128M,从下面的图中可以看出。在根目录下上传四个文件,通过web页面可以查看到:http://192.168.254.101:50070/explorer.html#/1、namenod...原创 2018-09-08 23:45:48 · 1374 阅读 · 0 评论 -
HDFS的block块解析
一个块信息包括:1、块id2、块大小3、时间戳4、这个快所属的文件是哪一个5、这些块都存在哪些节点上 结合HDFS的底层实现来分析: 先来看一下Block类,它含 有三个成员:blockId,numBytes和generationStamp。numBytes即block的大小,blockId是block的标识符,可以从block文件名中...原创 2018-09-09 00:26:10 · 5154 阅读 · 0 评论