Hadoop入门 day1

ssh-copy-id hadoop131  

复杂方法：

在从机hadoop130上，查看本地机器的隐藏文件 .ssh

ll -a

进入.ssh目录

cd .ssh

发起公钥请求

ssh-keygen -t rsa

然后在.ssh/目录下，会新生成两个文件：id_rsa.pub和 id_rsa

上传公钥到目标主机（注意要在.ssh目录下，否则可能没有权限）

ssh-copy-id crane@192.168.10.131
ssh-copy-id crane@hadoop131

(ssh-copy-id 用户名@主机名/IP地址）

在主机的.ssh文件上检查是否接收到 authorized_keys文件

文件中查看hadoop131下的authorized_keys文件与hadoop130下的id_rsa.pub中内容是一样的

之后可以在主机hadoop130上测试免密登录从机hadoop131

ssh hadoop131           //用户名相同时
ssh 用户名@IP地址        //用户名不同时

Q1.找不到.ssh文件夹

ssh localhost

.ssh 是记录密码信息的文件夹，如果没有登录过root的话，就没有 .ssh 文件夹，因此登录 localhost ，并输入密码就会生成了。

Q2.SSHD服务无响应

yum list installed | grep openssh-server    //检查sshd有没有安装
netstat -an | grep 22        //检查sshd 服务是否启动
systemctl start sshd.service   //开启sshd服务
systemctl status sshd.service   //查看sshd状态
systemctl restart sshd.service   //重启sshd服务

0.3 主机配置

配置主机hostname为hadoop130，hadoop131，hadoop132

配置主机hosts

192.168.10.130 hadoop130
192.168.10.131 hadoop131
192.168.10.132 hadoop132

集群时间同步

ntpdate ntp5.aliyun.com       //同步阿里云的时间

关闭防火墙

systemctl stop firewalld               //关闭防火墙
sudo systemctl disable firewalld          //关闭防火墙自启

传输文件后解压

tar -zxvf jdk.1.8.0_401.tar.gz

拷贝文件到其他主机

scp -r /opt/hadoop/hadoop-3.1.3/ root@hadoop131:/opt/hadoop/hadoop-3.1.3/
scp -r /opt/java/jdk1.8.0_401/ root@hadoop131:/opt/java/jdk1.8.0_401/

修改环境变量

//打开配置环境变量的文件

vim /etc/profile.d/my_env.sh          //二选一      
vim /etc/profile

//复制下面这个到文本

#JAVA_HOME
export JAVA_HOME=/opt/java/jdk1.8.0_401
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME 
export HADOOP_HOME=/opt/hadoop/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

//重新加载环境变量

source /etc/profile

//验证
java
hadoop

Q1.执行source /etc/profile报错“：command not found”

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！