3台云腾讯云开始hadoop学习之路笔记二

3台云腾讯云开始hadoop学习之路笔记二（接上）

---

大三党开始学习hadoop之路了，菜鸟学习hadoop，有啥错误请大佬指教。由于自己电脑配置不够，只能买3台腾讯云服务器来学习了。以下笔记都是记录我在某破站 尚硅谷学习的过程，开始笔记，加深记忆。

---

三台腾讯云的ip，主机名配置

ip	主机名
101.42.xxx.xx	hadoop102
101.42.xxx.xx	hadoop103
101.42.xxx.xx	hadoop104

最终搭建效果

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

SSH无密登录配置

1.无密钥配置

进入/home/username/.ssh目录

[sdy@hadoop102 ~]$ cd /home/sdy/.ssh

2.生成公钥和私钥

[sdy@hadoop102 .ssh]$ ssh-keygen -t rsa

3.将公钥拷贝到要免密登录的目标机器上

[sdyu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[sdyu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[sdy@hadoop102 .ssh]$ ssh-copy-id hadoop104

同1 2 3 步骤 在hadoop103 hadoop104上配置无密登陆

4..ssh文件夹下（~/.ssh）的文件功能解释

known_hosts	记录ssh访问过计算机的公钥（public key）
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

编写集群分发脚本xsync

1.scp（secure copy）安全拷贝

• scp定义

scp可以实现服务器与服务器之间的数据拷贝。

• 基本语法

scp   -r    $pdir/$fname       $user@$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

• 案例实操

前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录，并且已经把这两个目录修改为sdy:sdy

[sdy@hadoop102 ~]$ sudo chown sdy:sdy -R /opt/module

（a）在hadoop102上，将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。

[sdy@hadoop102 ~]$ scp -r /opt/module/jdk1.8.0_212 sdy@hadoop103