Hadoop完全分布步骤

systemctl status sshd CentOS 7 默认安装 SSH 服务，可以使用如下命令查看 SSH 的状态。看到 active (running)就表示 SSH 已经安装并启用 systemctl status firewalld 关闭防火墙后要查看防火墙的状态，确认一下。

重启网卡 service network restart         ifconfig eth3 down/up         ifdown/ifup eth3

hadoop完全分布

1. systemctl stop firewalld 关闭防火墙（同步）

2. hostnamectl set-hostname LSS hostnamectl set-hostname lss1 hostnamectl set-hostname lss2 修改主机名

3. su - 或者 bash 刷新主机名（同步）

4. vim /etc/hosts 修改映射（同步） 192.168.160.130 LSS 192.168.160.131 lss1 192.168.160.132 lss2

5. 配置免密（同步） ssh-keygen -t rsa -P '' 指定了生成RSA密钥对并使用空密码来保护私钥。 ssh-copy-id LSS 传送密钥（同步） ssh-copy-id lss1 ssh-copy-id lss2

6. 将jdk和hadoop的安装包上传到LSS的/下

7. 安装jdk（先只在LSS上操作） tar -zxvf jdk安装包 -C /usr/local/src/ cd /usr/local/src/ mv jdk-……/ jdk

8. 安装Hadoop（先只在LSS上操作） tar -zxvf hadoop安装包 -C /usr/local/src/ cd /usr/local/src/ mv hadoop……/ hadoop

9. 把LSS的jdk目录递归的复制到lss1和lss2上 scp -r /usr/local/src/jdk lss1:/usr/local/src/ scp -r /usr/local/src/jdk lss2:/usr/local/src/

   scp -r /usr/local/src/hadoop/ lss1:/usr/local/src/ scp -r /usr/local/src/hadoop/ lss2:/usr/local/src/

10. 配置jdk和Hadoop的环境变量(同步) vim /etc/profile(vim ~/.bashrc) export JAVA_HOME=/usr/local/src/jdk export PATH=JAVA_HOME/bin:PATH

    export HADOOP_HOME=/usr/local/src/hadoop export PATH=HADOOP_HOME/bin:HADOOP_HOME/sbin:$PATH

11. source /etc/profile(source ~/.bashrc) 刷新环境变量 全局和个人配置文件（同步） java -version 查看jdk的版本已验证jdk安装成功（同步） hadoop version 查看hadoop的版本已验证hadoop安装成功（同步）

12. cd /usr/local/src/hadoop/ mkdir data name tmp

13. hadoop的文件配置（先只在LSS上操作）

    1. hadoop-env.sh：这个文件是Hadoop的环境配置脚本，应该首先配置，以确保Hadoop运行所需的环境变量正确设置。

    2. core-site.xml：这个文件定义了Hadoop核心的配置项，其中一些配置是其他文件的基础，如fs.defaultFS配置项是hdfs-site.xml中HDFS配置的基础。

    3. hdfs-site.xml：这个文件定义了Hadoop分布式文件系统（HDFS）的配置项，依赖于core-site.xml中的一些配置。

    4. mapred-site.xml：这个文件定义了MapReduce的配置项，其中一些配置依赖于core-site.xml和hdfs-site.xml中的配置。

    5. yarn-site.xml：这个文件定义了YARN的配置项，依赖于core-site.xml中的一些配置。

    6. slaves：这个文件列出了所有Slave节点的主机名或IP地址，通常在集群配置的最后阶段进行配置。

    cd /usr/local/src/hadoop/etc/hadoop

    vim hadoop-env.sh export JAVA_HOME=/usr/local/src/jdk

    vim core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://LSS:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/src/hadoop/tmp</value> </property>

    vim hdfs-site.xml <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/src/hadoop/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/src/hadoop/data</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.permissions.enabled</name> #不关闭权限检查 <value>true</value> </property>

    cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

    vim yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

    vim slaves 删除localhost 添加:LSS lss1

14. 格式化hadoop(只在主机LSS上进行） hdfs namenode -format

15. 启动hadoop(只在LSS操作) start-all.sh

16. jps 查看进程（同步） LSS上有6个进程 lss1上有3个进程 lss2上有3个进程

注：只有我加注同步二字的步骤才在三台虚拟机上同步进行！！！