![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 76
LemonTreeWN
这个作者很懒,什么都没留下…
展开
-
NameNode工作机制中FsImage与edits
1. Fsimage中没有记录块所对应DataNode,为什么?答。在集群启动后,要求DataNode上报数据块信息,并间隔一段时间后再次上报。在fsimage中,并没有记录每一个block对应到哪几个datanodes的对应表信息,而只是存储了所有的关于namespace的相关信息。而真正每个block对应到datanodes列表的信息在hadoop中并没有进行持久化存储,而是在所有datanode启动时,每个datanode对本地磁盘进行扫描,将本datanode上保存的block信息汇报给na原创 2021-06-24 17:30:25 · 428 阅读 · 1 评论 -
HDFS的API案例实操
HDFS文件上传(测试参数优先级)原创 2021-06-10 20:49:02 · 177 阅读 · 0 评论 -
HDFS的API案例--客户端环境准备
1)找到资料包路径下的Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如d:\)。2)配置HADOOP_HOME环境变量3)配置Path环境变量。注意:如果环境变量不起作用,可以重启电脑试试。验证Hadoop环境变量是否正常。双击winutils.exe,如果报如下错误。说明缺少微软运行库(正版系统往往有这个问题)。再资料包里面有对应的微软运行库安装包双击安装即可。4)在IDEA中创建一个Maven工程HdfsClientDemo,并导入相应...原创 2021-06-10 20:37:04 · 340 阅读 · 9 评论