Hadoop3.x
文章平均质量分 96
hadoop3.x版本的特性及常规使用
若兰幽竹
认认真真做事,踏踏实实做人。不以物喜,不以己悲,活出自我,成就自我。
展开
-
【Hadoop3.3.6全分布式环境搭建】
上传jdk-8u171-linux-x64.tar.gz到/root目录下,然后执行下面的命令进行解压安装。如果不一样的话,我们在执行MapReduce程序的时候可能会存在问题.。将master上的hadoop环境复制到slave01 slave02。1)搭建一个时间同步的服务器,网上很多教程可以使用。4、配置免密码登录(配置两两之间的免密码登录)3、所有主机都需要配置主机名映射关系。所有的机器都需要产生一对密钥:公钥和私钥。原创 2024-04-20 22:50:51 · 1251 阅读 · 2 评论 -
【Hadoop3.3.6】数据块副本放置策略及解析EditLog和FsImage
目录一、摘要二、正文2.1 环境说明2.2 网络拓扑2.3 Hadoop副本放置策略介绍2.4 解析EditLog和Fsimage镜像文件三、小结一、摘要通过解析存储于NameNode节点上的日志文件EditLog和镜像文件(元数据)Fsimage来反向验证HDFS的数据块副本存放策略,其目的是希望加深对Hadoop的数据块放置策略的理解以及掌握如何查看日志文件及镜像文件的方法和理解其内容。二、正文2.1 环境说明软件说明VMWareWorkstation版本16.2.+原创 2024-04-22 23:27:41 · 1631 阅读 · 0 评论
分享