hadoop完全分布式

1.关闭防火墙
systemctl stop firewalld.service

2.查看防火墙状态

firewall-cmd --state

3.关闭防火墙开机自启
systemctl disable firewalld.service

4.修改主机名
vi /etc/hostname

5.修改虚拟机映射文件
vi /etc/hosts

6.修改windows里的映射
C:\Windows\System32\drivers\etc\hosts （添加虚拟机IP地址与主机名）

7.修改配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改内容：
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=172.16.1.100
PREFIX=255.255.255.0
GATEWAY=172.16.1.2
DNS1=172.16.1.2
DNS2=8.8.8.8

8.重启网络：
service network restart

9.重启网络服务
systemctl restart NetworkManager

10.查看网卡信息：ifconfig

11.ping ip地址或者www.baidu.com

12.查看是否安装jdk与卸载
查看：rpm -qa | grep jdk
卸载：rpm -e 文件名 --nodeps

14.上传和解压jdk和hadoop
tar -zxvf 压缩包文件名 (解压后查看文件内容是否完整)

15.修改环境变量 vi /etc/profile
export JAVA_HOME=/home/bigdata/jdk
export PATH=$JAV{A}_{H}OME/bin:$JAVA_HOME/jre/bin:$PATH

export HADOOP_HOME=/home/bigdata/hadoop
export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

16.使环境变量生效 source /etc/profile

17.验证jdk和hadoop是否安装成功
java -version
hadoop version

18.修改hadoop文件 进入 /home/bigdata/hadoop/etc/hadoop

hadoop-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml(这个需要改名字哦！！！)
yarn-site.xml
slaves

修改第一个文件 vi hadoop-env.sh
找到export JAVA_HOME=${JAVA_HOME}
将=后面的内容修改为jdk当前位置 /home/bigdata/jdk

修改第二个文件 vi core-site.xml (需将文件中主机名改为自己配置主机名)

<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>:：
<value>/home/bigdata/tmp</value>
</property>

修改第三个文件 vi hdfs-site.xml （需将文件中主机名,从机名改为自己配置主机名,从机名）

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoopdata/dfs/data</value>
</property>
<property>
	<name>fs.checkpoint.dir</name>
	<value>file:///home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
	<name>fs.checkpoint.edits.dir</name>
	<value>file:///home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>主机名:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>从机名1:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

修改第四个文件 vi mapred-site.xml(提示 cp mapred-site.xml.template mapred-site.xml )

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>主机名:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>主机名:19888</value>
</property>

修改第五个文件 vi yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>主机名:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>主机名:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>主机名:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>主机名:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>主机名:8088</value>
</property>

修改第六个文件：vi slaves
主机名
从机名
从机名

19.配置ssh免密（三台服务器需全部配置一遍）
生成公钥和私钥 ssh-keygen -t rsa
ssh-copy-id 服务器1
ssh-copy-id 服务器2
ssh-copy-id 服务器3

20.验证免密：ssh 服务器名

21.分发配置文件
scp -r /home/bigdta 机器名:/home
scp -r /etc/profile 机器名:/etc/

22.格式化集群：hdfs namenode -format

23.启动集群：start-dfs.sh start-yarn.sh start-all.sh

24.关闭集群与关闭节点：stop-all.sh kill -9 进程号

25.查看相关节点：jps

26.打开网页http://IP地址:端口号
hdfs服务：http://IP地址:50070
yarn服务：http://IP地址:8088

27.HDFS中上传下载查看文件
hdfs dfs -put
hdfs dfs -get
hdfs dfs -ls

​