可利用cp命令或ssh-copy-id,建议用ssh-copy-id,较为简单
cp命令:cp /root/.ssh/id_rsa.pub authorized_keys
ssh-copy-id命令:ssh-copy-id master
(4)设置master->slave1,master->slave2
将master的公钥传给slave1,slave2的authorized_keys,
在master中执行:
ssh-copy-id slave1
ssh-copy-id slave2
验证:ssh slave1,ssh slave2
(5)将/etc/hosts文件传输给slave1,slave2
(二)JAVA配置
master中
1、安装JAVA环境
(1)解压java安装包
命令:tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app
注意:
1)路径尽可能用绝对路径。
2)参数-C指定目标位置
3)tar命令解压tar包
4)源位置和目的位置根据实际情况变化
(2)解压后文件夹名较长,可用mv更名
如:mv jdk-8u11-linux-x64 jdk1.8
(3)配置到环境变量
全局环境变量配置文件位置:/etc/profile
用户环境变量配置文件位置:/home/.bashrc
1)指定JAVA家目录
export JAVA_HOME=/app/jdk1.8
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
注意区分大小写。
(4)让配置文件生效并验证。
生效:source /etc/profile
验证:java -version,出现java版本,正确
验证:javac,
(5)将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中
命令:
scp -r /etc/profile slave1:/etc
scp -r /app/jdk1.8 slave1:/app
scp -r /etc/profile slave2:/etc
scp -r /app/jdk1.8 slav2:/app
注意:
1)目的地的文件夹若不存在,需创建
2)传输后必须用source命令让配置生效,并验证
3)-r指的是级联传输,对传输文件夹时不可缺省。
(三)hadoop配置
master中
(1)解压hadoop
tar -zxvf /opt/hadoop3.0.1.tar.gz -C /app/
(2)配置hadoop环境变量/etc/profile,并source应用配置
(3)验证hadoop,hadoop version
(4)配置hadoop相关配置。
hadoop-env.sh:
1)java环境家目录:export JAVA_HOME=/app/jdk1.8
2)用户权限
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
3)一个works文件,主要是DATANODE节点存放在哪些地方?
如:master,slave1,slave2等
4)4个配置文件,core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml
core-site.xml
主是以下两个:
fs.defaultFS
hadoop://master:9820
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!