Hadoop学习（1），环境配置与准备工作

Linux虚拟机配置

• 主机环境：Ubuntu18.04
• 虚拟机：VirtualBox6.1

1.安装VirtualBox

• 官网搜索VirtualBox即可，也可以通过下面的链接直接访问
• https://www.virtualbox.org/wiki/Linux_Downloads
• 选择Ubuntu版本，直接安装即可。

2.安装Ubuntu server 18.04

• 清华镜像站，直接下载好iso文件
• 链接：https://mirrors.tuna.tsinghua.edu.cn/ubuntu-cdimage/releases/18.04/release/
• 选择Ubuntu 18.04 amd64.iso即可

3.虚拟机安装Ubuntu server 18.04

• 点击新建，名称随便写，建议写ubuntu x
  
• 选择给予的内存，建议1024以上，最好2048m.
  
• 创建虚拟硬盘，格式建议为VDI，选择动态分配。
  
• 确定好路径和大小后，即可点击创建正式创建虚拟机。
  
• 创建好虚拟机后，需要挂载Ubuntu系统安装盘，这样开机的时候就会自动进Ubuntu引导了。点击设置，储存，控制器IDE，点击没有盘片，点击选择虚拟盘，然后选择你的ubuntu下载路径即可。弄好之后，点击确定即可。
  
• 点击启动，开始启动虚拟机。启动盘选择Ubuntu18.04 server
• 
• 然后进入安装界面，选择英语，时区选择亚洲，中国，其它一直continue即可。具体可以百度看看其它人怎么装的。
  

4. 配置静态网络

• 输入ifconfig显示网络情况，默认是显示公网ip，我们需要将其改成局域网ip，即192.168.x.x格式，在此需要记录一下自己的网卡名称，如我的网卡名称为enp0s3
  
• 进入/etc/network文件夹，里面有一个interfaces文件，我们需要对其进行修改。
• 输入sudo vim interfaces，输入i进入编辑界面,输入参考下面的
  
• 第一行网卡名称
• 第二行设置网络为静态网络(主要不要和主机局域网冲突)
• 第三行设置局域网ip地址
• 第四行为隐码
• 第五行为网关
• 第六行为DNS
• 键盘按ESC，输入:wq保存退出
• 接下来需要刷新网卡，可输入sudo /etc/init.d/networking restart
• 不过我刚开始的时候提示并没有networking服务，所以需要手动安装一下，输入下面的指令安装updown网卡管理服务

sudo apt install ifupdown ifupdown2

• 之后输入指令重启网络sudo /etc/init.d/networking restart，也可以通过关闭开启网卡重启网络服务

sudo ifdown enp0s3  # enp0s3为你的网卡名称
sudo ifup enp0s3

• 通过重启networking服务，你的ip变成了你设置的局域网格式，但是重启网卡后，又变成了公网ip格式，说明改动只是临时改动，还需要设置其它的。
• 18.04上新采用的netplan命令。网卡信息配置在/etc/netplan/xxx.yaml中还有其它的配置需要修改。
• 进入/etc/netplan/

cd /etc/netplan

• 里面有一个01-netcfg.yaml文件，每个人的名称叫法可能不一样，注意观察。
• 编辑该文件

sudo vim 01-netcfg.yaml

• 注意dhcp为自动设置网络，需要关闭，也就是改成no
• addresses为你设置的静态网络地址
• gateway4为网关
• 再下面一个为dns地址
• 注意：dhcp4、addresses、gateway4、nameservers均为同级目录。每个冒号后面有一个空格。

第一层－network:
   第二层－－ ethernets:
	 第三层－－－ ens33:
		 第四层－－－－addresses:  [192.168.3.14/24]
		 第四层－－－－gateway4:  192.168.0.1
		 第四层－－－－nameservers:
			 第五层－－－－－addresses: [114.114.114.114, 8.8.8.8]

• 应用该设置，输入sudo netplan apply即可
• 重新用ifconfig检查一下，如果ok，再重启再检查一下。
• 重启后，貌似不能上网了，重新开启dhcp4服务，然后再测试一下，终于ok了
• 最终配置如下
  

5.安装ssh

• 安装ssh服务

sudo apt install openssh-server

• 检查是否启动

sudo ps -e | grep ssh

• 检查服务状态

sudo service ssh status

• 设置端口转发：设置-网络-端口转发
  
• 然后就可以通过ssh 127.0.0.1 -p 2222连接上ssh了。

6. 安装增强工具

• VirtualBox，控制-设备，安装增强工具，目测应该会失败。
  
• 找到这个iso的路径，在主机的/usr/sharevirtualbox目录下
  
• 进入主机的这个路径，将iso文件拷贝到虚拟机。

cd /usr/share/virtualbox
scp -P 2222 VBoxGuestAdditions.iso 127.0.0.1:/home/tlntin/VBoxGuestAdditions.iso

• 进入虚拟机，然后挂载iso
  
• 进入temp路径，运行run文件
  
• 重启虚拟机

sudo reboot

7.安装JAVA

sudo apt-get install openjdk-8-jdk

• 查看Java版本，如下：

java -version

• 找到相应的安装路径

update-alternatives --config java

• 接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

sudo vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

• 保存，运行命令使其生效

source ~/.bashrc

8.安装Hadoop

1. 下载hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

2. 解压hadoop到/local/opt

sudo tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local    # 解压到/usr/local中

3. 更改名称，给与权限

cd /usr/local/
sudo mv ./hadoop-3.3.0/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R tlntin ./hadoop   # 给与用户权限

4. 检查hadoop版本
   
5. 配置 Hadoop 环境变量

sudo vim ~/.bashrc

文末添加haddop路径

export HADOOP_PATH=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

再次设置使环境生效

source ~/.bashrc

9.配置Hadoop集群

• 进入配置文件路径

cd /usr/local/hadoop/etc/hadoop

• 修改wrokers（以前叫slaves，现在改了），这个储存了数据节点的主机名称,也就是从节点名称，将默认的localhost改成slave1, slave2

sudo vim workers

• 修改core-site.xml，这个储存了hadoop前端web的一些信息。

sudo vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

• 修改hdfs-site.xml，该文件记录备份相关。dfs.replication 一般设为 3，我们有俩个 slave 节点，因此可以将 dfs.replication 的值设为 2

sudo vim hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

• 修改mapred-site.xml

sudo vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

• 修改yarn-site.xml

sudo vim yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

• 修改host解析

sudo vim /etc/hosts

将你的主虚拟机和从虚拟机的ip和名称填一下(从节点还没建。)

192.168.3.14    master
192.168.3.15    slave1
192.168.3.16    slave2

• 控制，生成备份，关机，正常关机。然后右键虚拟机，选择复制，完全复制。
  
  
  
• 最终效果如下：
  
• 最后一步，配置你的网卡信息，改成之前在Host写入的内容。。。
• 未完待续。。。。。。