1.关闭防火墙
systemctl stop firewalld.service
2.查看防火墙状态
firewall-cmd --state
3.关闭防火墙开机自启
systemctl disable firewalld.service
4.修改主机名
vi /etc/hostname
5.修改虚拟机映射文件
vi /etc/hosts
6.修改windows里的映射
C:\Windows\System32\drivers\etc\hosts (添加虚拟机IP地址与主机名)
7.修改配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改内容:
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=172.16.1.100
PREFIX=255.255.255.0
GATEWAY=172.16.1.2
DNS1=172.16.1.2
DNS2=8.8.8.8
8.重启网络:
service network restart
9.重启网络服务
systemctl restart NetworkManager
10.查看网卡信息:ifconfig
11.ping ip地址或者www.baidu.com
12.查看是否安装jdk与卸载
查看:rpm -qa | grep jdk
卸载:rpm -e 文件名 --nodeps
14.上传和解压jdk和hadoop
tar -zxvf 压缩包文件名 (解压后查看文件内容是否完整)
15.修改环境变量 vi /etc/profile
export JAVA_HOME=/home/bigdata/jdk
export PATH=
J
A
V
A
H
O
M
E
/
b
i
n
:
JAVA_HOME/bin:
JAVAHOME/bin:JAVA_HOME/jre/bin:$PATH
export HADOOP_HOME=/home/bigdata/hadoop
export PATH=
H
A
D
O
O
P
H
O
M
E
/
b
i
n
:
HADOOP_HOME/bin:
HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH
16.使环境变量生效 source /etc/profile
17.验证jdk和hadoop是否安装成功
java -version
hadoop version
18.修改hadoop文件 进入 /home/bigdata/hadoop/etc/hadoop
hadoop-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml(这个需要改名字哦!!!)
yarn-site.xml
slaves
修改第一个文件 vi hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}
将=后面的内容修改为jdk当前位置 /home/bigdata/jdk
修改第二个文件 vi core-site.xml (需将文件中主机名改为自己配置主机名)
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>::
<value>/home/bigdata/tmp</value>
</property>
修改第三个文件 vi hdfs-site.xml (需将文件中主机名,从机名改为自己配置主机名,从机名)
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoopdata/dfs/data</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:///home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<name>dfs.http.address</name>
<value>主机名:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>从机名1:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改第四个文件 vi mapred-site.xml(提示 cp mapred-site.xml.template mapred-site.xml )
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>主机名:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>主机名:19888</value>
</property>
修改第五个文件 vi yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>主机名:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>主机名:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>主机名:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>主机名:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>主机名:8088</value>
</property>
修改第六个文件:vi slaves
主机名
从机名
从机名
19.配置ssh免密(三台服务器需全部配置一遍)
生成公钥和私钥 ssh-keygen -t rsa
ssh-copy-id 服务器1
ssh-copy-id 服务器2
ssh-copy-id 服务器3
20.验证免密:ssh 服务器名
21.分发配置文件
scp -r /home/bigdta 机器名:/home
scp -r /etc/profile 机器名:/etc/
22.格式化集群:hdfs namenode -format
23.启动集群:start-dfs.sh start-yarn.sh start-all.sh
24.关闭集群与关闭节点:stop-all.sh kill -9 进程号
25.查看相关节点:jps
26.打开网页http://IP地址:端口号
hdfs服务:http://IP地址:50070
yarn服务:http://IP地址:8088
27.HDFS中上传下载查看文件
hdfs dfs -put
hdfs dfs -get
hdfs dfs -ls