既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
将master的公钥传给slave1,slave2的authorized_keys,
在master中执行:
ssh-copy-id slave1
ssh-copy-id slave2
验证:ssh slave1,ssh slave2
(5)将/etc/hosts文件传输给slave1,slave2
(二)JAVA配置
master中
1、安装JAVA环境
(1)解压java安装包
命令:tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app
注意:
1)路径尽可能用绝对路径。
2)参数-C指定目标位置
3)tar命令解压tar包
4)源位置和目的位置根据实际情况变化
(2)解压后文件夹名较长,可用mv更名
如:mv jdk-8u11-linux-x64 jdk1.8
(3)配置到环境变量
全局环境变量配置文件位置:/etc/profile
用户环境变量配置文件位置:/home/.bashrc
1)指定JAVA家目录
export JAVA_HOME=/app/jdk1.8
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
注意区分大小写。
(4)让配置文件生效并验证。
生效:source /etc/profile
验证:java -version,出现java版本,正确
验证:javac,
(5)将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中
命令:
scp -r /etc/profile slave1:/etc
scp -r /app/jdk1.8 slave1:/app
scp -r /etc/profile slave2:/etc
scp -r /app/jdk1.8 slav2:/app
注意:
1)目的地的文件夹若不存在,需创建
2)传输后必须用source命令让配置生效,并验证
3)-r指的是级联传输,对传输文件夹时不可缺省。
(三)hadoop配置
master中
(1)解压hadoop
tar -zxvf /opt/hadoop3.0.1.tar.gz -C /app/
(2)配置hadoop环境变量/etc/profile,并source应用配置
(3)验证hadoop,hadoop version
(4)配置hadoop相关配置。
hadoop-env.sh:
1)java环境家目录:export JAVA_HOME=/app/jdk1.8
2)用户权限
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
3)一个works文件,主要是DATANODE节点存放在哪些地方?
如:master,slave1,slave2等
4)4个配置文件,core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml
core-site.xml
主是以下两个:
fs.defaultFS
hadoop://master:9820
hadoop.tmp.dir
/app/hadoop3.1/tmpData
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
-1715592259738)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新