Hadoop集群的搭建2（很全面）

Hadoop集群的搭建2（很全面）

该文章用于记录学习过程。多余的话不多说了，如有需要请观看正文。
注：第二篇更新步骤6-10。

实现步骤如下（总）：
（1）将VMWare Pro安装好并激活
（2）配置虚拟机参数
（3）安装CentOS 6.9
（4）虚拟机的克隆
（5）SecureCRT的安装
（6）系统网络配置
（7）SSH服务配置
（8）JDK以及Hadoop环境配置
（9）Hadoop集群配置
（10）格式化文件系统
（11）启动和关闭Hadoop集群
（12）通过UI界面查看Hadoop集群
（13）Hadoop集群初体验和单词统计

       本部分内容及图片均为本人亲自制作，采用一步一截图或者多步一截图方式详细记录了个人的学习和操作过程。

六、SSH服务配置

1.查看ssh的相关插件和服务进程是否启动

rpm -qa | grep ssh
ps -e |grep sshd

2.三台虚拟机产生公钥私钥

ssh-keygen -t rsa

3.拷贝公钥到同一台机器

ssh-copy-id hadoop01

4.复制第一台机器的认证到其他两台机器

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh

另外一台机器同理即可。

七、jdk环境配置

1.安装rz工具

yum install lrzsz -y

2.将rz进来的jdk压缩包解压到/export/servers/目录下

tar -zxvf jdk-8u171-linux-x64.tar.gz -C /export/servers/

3.向/etc/profile中添加如下内容：

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.source /etc/profile并查看jdk安装版本

source /etc/profile

八、Hadoop环境配置

1.使用rz命令将Hadoop压缩包放到/export/software下

2.使用tar命令将hadoop解压到/export/servers下并查看

3.配置/etc/profile文件

九、hadoop集群搭建

配置文件	具体操作
hadoop-env.sh	配置Hadoop运行所需的环境变量
yarn-env.sh	配置Yarn运行所需的环境变量
core-site.xml	Hadoop核心全局配置文件，可在其他配置文件中引用
hdfs-site.xml	HDFS配置文件，继承core-site.xml配置文件
mapred-site.xml	MapReduce配置文件，继承core-site.xml配置文件
yarn-site.xml	Yarn配置文件，继承core-site.xml配置文件

路径： cd /export/servers/hadoop-2.7.4/etc/hadoop/

1.vi hadoop-env.sh
向下寻找JAVA_HOME修改路径

export JAVA_HOME=/export/servers/jdk

2.vi core-site.xml
行末添加如下代码：

<configuration>
        <property>
                <name>fs.defaultFS</name>
	            <value>hdfs://hadoop01:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/servers/hadoop-2.7.4/tmp</value>
        </property>
</configuration>

3.vi hdfs-site.xml
行末添加如下代码：

<configuration>
         <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop02:50090</value>
        </property>
</configuration>

4.mapred-site.xml
行末添加如下代码：

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5.yarn-site.xml
行末添加如下代码：

<configuration>
       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6.slaves
删除原文本内容直接添加如下内容：

hadoop01
hadoop02
hadoop03

7.将集群主节点的配置文件分发到其他子节点

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/

然后在hadoop02和hadoop03上执行source /etc/profile

十、格式化文件系统

指令如下：

hdfs namenode -format
或者
hadoop namenode -format