2024年运维最新Hadoop入门 day1，前方高能

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ssh-copy-id crane@192.168.10.131
ssh-copy-id crane@hadoop131

(ssh-copy-id 用户名@主机名/IP地址）

在主机的.ssh文件上检查是否接收到 authorized_keys文件

文件中查看hadoop131下的authorized_keys文件与hadoop130下的id_rsa.pub中内容是一样的

之后可以在主机hadoop130上测试免密登录从机hadoop131

ssh hadoop131           //用户名相同时
ssh 用户名@IP地址        //用户名不同时

Q1.找不到.ssh文件夹

ssh localhost

.ssh 是记录密码信息的文件夹，如果没有登录过root的话，就没有 .ssh 文件夹，因此登录 localhost ，并输入密码就会生成了。

Q2.SSHD服务无响应

yum list installed | grep openssh-server    //检查sshd有没有安装
netstat -an | grep 22        //检查sshd 服务是否启动
systemctl start sshd.service   //开启sshd服务
systemctl status sshd.service   //查看sshd状态
systemctl restart sshd.service   //重启sshd服务

0.3 主机配置

配置主机hostname为hadoop130，hadoop131，hadoop132

配置主机hosts

192.168.10.130 hadoop130
192.168.10.131 hadoop131
192.168.10.132 hadoop132

集群时间同步

ntpdate ntp5.aliyun.com       //同步阿里云的时间

关闭防火墙

systemctl stop firewalld               //关闭防火墙
sudo systemctl disable firewalld          //关闭防火墙自启

传输文件后解压

tar -zxvf jdk.1.8.0_401.tar.gz

拷贝文件到其他主机

scp -r /opt/hadoop/hadoop-3.1.3/ root@hadoop131:/opt/hadoop/hadoop-3.1.3/
scp -r /opt/java/jdk1.8.0_401/ root@hadoop131:/opt/java/jdk1.8.0_401/

修改环境变量

//打开配置环境变量的文件

vim /etc/profile.d/my_env.sh          //二选一      
vim /etc/profile

//复制下面这个到文本

#JAVA_HOME
export JAVA_HOME=/opt/java/jdk1.8.0_401
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME 
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

//重新加载环境变量

source /etc/profile

//验证
java
hadoop

Q1.执行source /etc/profile报错“：command not found”

locate source /etc/profile      //二选一
usr/bin/source /etc/profile

Q2.执行source /etc/profile报错bash: rt: 未找到命令…相似命令是： ‘tr’

原因是修改profile时，export 这个单词在复制的过程中可能只剩下了 rt , 而bash 找不到 rt 这个命令，就会出现报错

Q3.执行文件操作时报错permission denied

表示对当前文件夹的权限不够，不能操作。

777：指所有用户都拥有的最高权限

sudo chmod -R 777 /文件夹名称

1.特点

hadoop集群间逻辑上分离（两个集群HDFS和YARN互相之间没有依赖，互不影响），物理上在一起（某些进程往往部署在同一台物理服务器上）。

HDFS：NameNode（主角色），DateNode（从角色），SecondNameNode（主角色辅助角色）

YARN：ResourceManager（主角色），NodeManager（从角色）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！