![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
程序猿渣渣帅
技术、生活、观点、个人成长。 主要关注互联网电商广告业务、数据分析方法论、大数据分析平台建设;java web、分布式、大数据处理以及可视化等相关技术。
展开
-
HDFS上传文件保存Got error, status message , ack with firstBadLink
[root@node1 ~]# hadoop fs -put test.txt /test.txt 18/09/08 07:40:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 1...原创 2018-09-08 19:50:41 · 4426 阅读 · 0 评论 -
在Windows下的idea中访问HDFS报错 Could not locate executable null\bin\winutils.exe
18/09/08 20:18:33 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at...原创 2018-09-08 20:24:14 · 672 阅读 · 0 评论 -
HDFS流式上传文件
借助工具类 import org.apache.hadoop.io.IOUtils; 实现直接从一个输入流往HDFS的输出流中写数据 public static void main(String[] args) throws Exception{ System.setProperty("hadoop.home.dir", "D:\\hadoop\\hadoop-2.7.3");...原创 2018-09-08 21:04:55 · 1088 阅读 · 0 评论 -
HDFS上传文件后datanode元数据目录和和datanode数据目录的变化
目录 1、namenode目录存储的元数据信息 2、datanode存储的数据块信息 3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储 4、问题 HDFS2.7默认的块大小为128M,从下面的图中可以看出。 在根目录下上传四个文件,通过web页面可以查看到:http://192.168.254.101:50070/explorer.html#/ 1、namenod...原创 2018-09-08 23:45:48 · 1398 阅读 · 0 评论 -
HDFS的block块解析
一个块信息包括: 1、块id 2、块大小 3、时间戳 4、这个快所属的文件是哪一个 5、这些块都存在哪些节点上 结合HDFS的底层实现来分析: 先来看一下Block类,它含 有三个成员:blockId,numBytes和generationStamp。numBytes即block的大小,blockId是block的标识符,可以从block文件名中...原创 2018-09-09 00:26:10 · 5205 阅读 · 0 评论