从零创建hadoop集群

1.创建一个虚拟机

1.点击创建新的虚拟机

2.选择自定义安装

3.

4.
5安装的操作系统和名称
6安装位置和虚拟机的名称

7.
8.

9.

10.

11.

12.

13.

14.

15.点击完成

16.点击编辑虚拟机设置

17.选择自己的虚拟机的镜像文件

18.开启此虚拟机

19.等待开启完成，进去安装页面，直接点击下一步
20.点击DATE&TIME

21.修改时区

22.选择需要安装的软件

23.这里选择Service with GUI

24.对磁盘进行分区

25.

26.

27.重复上面的步骤，配置如下

28.点击接受更改

29.点击network&hostname

30.配置主机名和ip地址

31.点击开始安装

32.设置root用户的密码

33.

34.创建用户（这里也可以不创建，看你自己，）

35

36.点击重新启动

37接受许可


38.选择中文

38.点击跳过（就此虚拟机配置完毕）

配置虚拟机的网络和关闭防火墙

1.切换到root用户

2.修改/etc/sudoers在里面添加自己的用户我这里加的是chenxin

3.systemctl stop firewalld.service --关闭防火墙
4.vim /etc/sysconfig/network-scripts/ifcfg-ens33 --修改网络配置

5.systemctl restart network --重新启动网卡服务
6.查看ip地址（到这里虚拟机的网络配置就结束了）

安装jdk

1.mkdir -p /opt/module --创建目录
2.把jdk的tar.ge包上传到/opt/module/
3 tar -zxvf jdk-8u144-linux-x64.tar.gz --解压jdk到当前文件夹

4. rpm -qa | grep java --查看linux有没有自带的jdk

6 删除自带的jdk
yum -y remove java java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64（出现下面的错误就说明删除成功）

7.编辑/etc/profile的配置文件 vim /etc/profile（在文件的最底部加上如下配置）

8.刷新/etc/profile source /etc/profile

9.测试 java -version(看到如下信息配置成功，到这里jdk配置成功）

安装hadoop

1.切换成普通用户 --su chenxin

2.把hadoop2.7.2上传到 /opt/module目录
3.解压hadoop2.7.2.tar.gz到当前目录 --tar -zxvf hadoop-2.7.2.tar.gz

4.删除hadoop和jdk的安装包 --sudo rm -rf hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz

5.复制mapred-site.xml.template为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

6.编辑hadoop的配置文件
hadoop-env.sh

mapred-env.sh

yarn-env.sh

<configuration>
<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<!--指定hadoop运行时产生的存储目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<!--指定hdfs的副本数量-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>slave2:50090</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
</configuration>

slaves

master
slave1
slave2

7.编辑/etc/hosts

192.168.246.146 master
192.168.246.147 slave1
192.168.246.148 slave2

8.克隆两台虚拟机名字分别是slave1和slave2

9. 分别修改slave1的ip地址和主机名
slave1：
1） sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 （修改ip）

2）sudo vim /etc/hostname（修改主机名）

3）reboot （重新启动虚拟机）

slave1和slave2配置是一样的这里我就没有写出来