网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
ping 域名
ping hadoop1
ping hadoop2
ping hadoop2
如果三台虚拟机之间都是可以相互ping通,则证明配置没有问题。
4.虚拟机配置ssh免密登录
- 在每台虚拟机上使用生成rsa非对称密钥的命令
ssh-keygen -t rsa
执行命令,连续按三次回车
- 在hadoop中,将hadoop1中的公钥拷贝到文件authorized_keys中
cp id_rsa.pub authorized_keys
# 这个命令生成的文件会存放在目录/root/.ssh/之下
- 在hadoop2中,将文件authorized_keys同步到Hadoop2,并将hadoop2生成的公钥追加到文件中
scp:这个命令可以用于跨虚拟机之间的拷贝,前提虚拟机之间可以进行通信
# 拷贝
1. scp authorized_keys root@hadoop2:/root/.ssh/
# 追加公钥
2. cat id_rsa.pub >> authorized_keys
- 在hadoop3中,将文件authorized_keys同步到hadoop3中,并追加hadoop3 的公钥,最后将文件anthorized_keys文件重新同步回hadoop1、hadoop2
# 拷贝
1. scp authorized_keys root@hadoop3:/root/.ssh/
# 追加
2. cat id_rsa.pub >> authorized_keys
# 同步回hadoop1、hadoop2
3.
scp authorized_keys root@hadoop1:/root/.ssh/
scp authorized_keys root@hadoop2:/root/.ssh/
- 完成之后就可以通过ssh 用户@域名/ip 进行切换虚拟机,且不用输入密码
ssh root@hadoop2
5.hadoop集群配置文件配置
- core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<!-- 配置到hadoop目录下temp文件夹 -->
<value>file:/opt/softtools/hadoop/tmp</value>
</property>
</configuration>
- yarn-site.xml
<configuration>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定YARN集群的管理者(ResourceManager)的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
</configuration>
- mapred-site.xml
<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- hdfs-site.xml
<configuration>
<property>
<!--指定hdfs保存数据副本的数量,包括自己,默认为3-->
<!--伪分布式模式,此值必须为1-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<!-- name node 存放 name table 的目录 -->
<value>file:/opt/softtools/hadoop/tmp/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<!-- data node 存放数据 block 的目录 -->
<value>file:/opt/softtools/hadoop/tmp/hdfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>192.168.223.200:9870</value>
</property>
</configuration>
6.浏览器测试
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
95%以上大数据知识点,真正体系化!**
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新