完全分布式搭建:
每个节点都需要操作,操作系统为cent os 7
cent os 6与7稍有不同
(1)主机名:
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01
(2)主机映射:
vi /etc/hosts
192.168.160.135 hadoop01
重启:init 6或reboot
(3)关闭防火墙:
service iptables stop
关闭sellinux:
vi /etc/selinux/config
SELINUX=disabled
(4)系统启动级别改为3
vi /etc/inittab
(5)创建普通用户,并添加sudolers
useradd 用户名
passwd 用户名
vi /etc/sudoers
用户名 ALL=(ALL) ALL
(6)配置免密登录
先切换到普通用户
1.生成密钥:ssh-keygen
2.发送密钥:ssh-copy-id hadoop(主机名)
验证:ssh hadoop
(7)安装jdk
快捷键:alt+p用sftp传输文件
卸载jdk
rpm -qa | grep jdk
rpm -e java-............
(8)时间同步 伪分布式不需要
选择安装版本
不选太旧的,不选最新
版本高的不一定最新
一定切换到普通用户
【1】伪分布式的搭建
1)上传
2)解压
3)修改配置文件
HADOOP_HOME/etc/hadoop
需要修改6个配置文件
1.hadoop-env.sh --修改Java环境变量
export JAVA_HOME=/home/hadoop/jdk1.8.0_181
2.core-site.xml
核心配置文件
官文查看配置文件直接复制,通信主节点的url修改localhost
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.hadfs-site.xml
配置副本个数
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.yarn-site.xml yarn资源调度的程序
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
5.mapred-site.xml 可以用yarn资源调度,也可以是其他
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.slaves 配置助理,单节点也为本机
vim slaves
7.先进行格式化(需要先进行hadoop环境变量sbin和bin)
hadoop namenode -format
8.启动 cd bin/ 不建议start-all.sh 建议strat-yarn.sh start-dfs.sh 9.验证 jps 6个进程 页面: hdfs:namenode的ip:50070 yarn:resourcemanager的ip:8088