【笔记】Hadoop管理与应用开发-HDFS文件管理

最新推荐文章于 2022-07-24 02:34:37 发布

iqiqiya

最新推荐文章于 2022-07-24 02:34:37 发布

阅读量874

点赞数

分类专栏：杂七杂八经验 Hadoop管理与应用开发文章标签： Hadoop管理与应用开发 HDFS文件管理

本文链接：https://blog.csdn.net/xiangshangbashaonian/article/details/88883749

版权

本文详细介绍了如何配置Hadoop集群，包括设置文件副本数、datanode心跳间隔、namenode检查间隔等参数。此外，还讲解了元数据管理，如导出fsimage和edits文件，以及使用Shell命令进行集群的启动、停止、目录管理、文件上传下载等操作。最后，提到了使用Java API管理和操作HDFS文件的方法。

摘要由CSDN通过智能技术生成

1.按以下要求配置集群

设置文件副本数为3，datanode每隔2秒向namenode心跳一次，namenode每隔10秒钟检查datanode的状态，每隔3分钟删除多余副本，每隔10分钟合并fsimage与edits，每隔2分钟检查是否满足合并条件。

#zkServer.sh start 三个节点 hadoop01~03
#start-dfs.sh 任意一个节点 hadoop01
#start-yarn.sh 两个节点 01,02
#mr-jobhistory-daemon.sh start historyserver hadoop03节点
vi /usr/apps/hadoop/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

          修改并增加以下部分用来设置文件副本数为3，datanode每隔2秒向namenode心跳一次，namenode每隔10秒钟检查datanode的状态

<property>
            <name>dfs.replication</name>
            <value>3</value>
</property>

<property>
            <name>dfs.namenode.heartbeat.recheck-interval</name> 2.x
            <value>1000</value> 毫秒
</property>

<property>
            <name>dfs.heartbeat.interval</name>