![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 62
芒果布丁加buffer
这个作者很懒,什么都没留下…
展开
-
Hadoop 由伪分布式到完全分布式搭建
整体规划 namenode在node01节点,secondarynamenode 在node02节点,node02、node03、node04节点作为datanode。1.修改配置文件$HADOOP_HOME/etc/hadoop/core-site.xml,将临时文件、namenode、datanode等的存储的目录做了调整,目的是和伪分布式做区分。 2.修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml 配置文件中副本数和SNN节点 3.修改配置文件$HADOOP_H原创 2022-07-07 09:38:45 · 548 阅读 · 0 评论 -
HDFS读写流程
1.客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件, NameNode检查用户是否有写入权限并且检查目标文件是否已存在,父目录是否存在。 2.Namenode返回客户端是否可以上传。 3.如果可以上传客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 4.NameNode根据副本放置策略返回 一个有序的 DataNode列表, 分别为 dn1、 dn2、 dn3。 5.客原创 2022-07-01 19:53:46 · 86 阅读 · 0 评论 -
Hadoop伪分布式搭建
1.上传hadoop的tar包和jdk的rpm包 hadoop-2.6.5.tar.gz jdk-8u231-linux-x64.rpm2.安装jdk并配置环境变量 3.解压hadoop-2.6.5.tar.gz到/opt目录 并配置免密钥登陆 4.将HADOOP_HOME、HADOOP_HOME/bin、HADOOP_HOME/sbin添加到环境变量 5.配置hadoop-env.sh 由于通过SSH远程启动进程的时候默认不会加载/etc/profile设置,JAVA_HOME原创 2021-06-19 23:50:25 · 223 阅读 · 2 评论