linux及hadoop入门,Hadoop入门第一篇——环境配置

一、准备工作

1. 所需软件

1)    jdk-linux.rpm

2)    Hadoop2.8.1.tar.gz

3)    CentOS.iso

4)    VirtualBox.exe

5)    XShell(下载地址：http://www.netsarang.com/download/free_license.html)

6)    Xftp

2. 配置windows虚拟网卡

打开网络连接，找到VirtualBox Host-Only Network，右键属性，选择IPv4双击，配置固定Ip地址。

图 1.2.1

3. 新建Linux虚拟机

打开已经安装好的VirtualBox管理器，新建虚拟机，选择操作系统为Linux版本，然后一直选择“下一步”创建完成名为”hd_master“的虚拟机。

图 1.3.1

在创建好的hd_master机器上右键->设置，选择“网络”，连接方式改为：仅主机(Host-Only)网络。

图 1.3.2

在上一步中的设置页面中选择“存储”，在控制器:IDE光驱中选择提前下载好的CentOS系统盘，点击“OK”。

图 1.3.3

启动hd_master虚拟机，等待安装CentOS操作系统。

图 1.3.4

如果对自己的英文功底不太自信，安装的时候可以选择中文，点击“继续”。

图 1.3.5

在安装信息摘要页面选择”软件选择“，在进入页面中选择”基础设置服务器“选项(当然这里可以根据自己的需要选择不同环境)，点击”安装位置(D)“，选择本地标准磁盘。以上两点操作完成后，点击”开始安装”。

图 1.3.6

进入安装配置页面，当前页面ROOT密码是没设置的，选择”ROOT密码“设置自己的密码(如果设置密码过于简单，需要点击两次”完成“按钮)，然后等待系统安装完成。

图 1.3.7

二、配置环境

1. 修改主机名 hostnamectl set-hostname hd_master

2. 配置网络

在命令行输入：vim /etc/sysconfig/network-scripts/ifcfg-enp0s3，回车，进入配置文件，修改文件内容为： #默认内容 TYPE=Ethernet #IP地址 IPADDR=192.168.56.110 #子网掩码 NETMASK=255.255.255.0

在命令行输入：vim /etc/sysconfig/network，回车，进入配置文件修改网关，修改为windows虚拟网卡IP地址。 NETWORKING=yes GATEWAY=192.168.56.1

重启网卡，并检查是否配置完成，如果ping 192.168.56.1(windows虚拟网卡IP地址)是通的，说明配置成功，重启hd_master。 //重启网卡 systemctl restart network //检查当前网卡信息 ifconfig

图 2.2.1

3. 通过XShell访问hd_master

打开XShell，新建会话，输入hd_master虚拟机的IP信息，点击确定。

图 2.3.1

在弹出回话页面，点击“连接”

图 2.3.2

在弹出提示页面，选择“接受并保持(S)”，输入用户名和密码(为了方便可以选择记住密码)。

图 2.3.3

图 2.3.4

在XShell中登录成功后，选择Xftp(文件传输)插件。

图 2.3.5

在弹出页面中，把Windows上提前下载好的hadoop和jdk安装文件传到hd_master中的/usr/local目录中(注意：这里会提示输入hd_master的登录密码)，在左侧的windows目录中双击需要传入hd_master中的文件，等待传输完毕后，文件即可在右侧的hd_master中查看到。

图 2.3.6

4. 配置hadoop和jdk环境

在XShell中输入命令查看hd_master中是否已经传入hadoop和jdk文件。 ls /usr/local

图 2.4.1

进入local目录，执行jdk文件，安装java环境，安装完成后，输入“java -version”命令，显示jdk版本，说明安装成功。 rpm -ivh jdk-8u151-linux-x64.rpm

图 2.4.2

进入local目录，解压hadoop文件到当前目录。 tar -zxf hadoop-2.8.1.tar.gz

配置JAVA_HOME环境变量。

1)修改hadoop-env.sh配置文件 //进入hadoop-env.sh文件所在目录 cd /usr/local/hadoop-2.8.1/etc/hadoop/ //进入hadoop-env.sh文件 vim hadoop-env.sh //修改JAVA_HOME值 export JAVA_HOME=/usr/java/default

2)修改profile配置文件 //进入profile文件 vim /etc/profile //导入PATH变量 export PATH=$PATH:/usr/local/hadoop-2.8.1/bin:/usr/local/hadoop-2.8.1/sbin

3)重新加载profile文件 source /etc/profile

4)输入"hadoop version"，回车，显示hadoop版本信息说明配置成功。

图 2.4.3