Ubuntu+JDK1.8+Hadoop2.7平台搭建

VM+Ubuntu16下：网络配置+JDK1.8+Hadoop2.7.1

1. 安装Vmware WorkStation
2. 安装centos/Ubuntu
3. 设置固定IP
4. 使用xshell和fz连接Linux操作系统
5. 配置ssh免密登录，配置主机名
6. 上传jdk安装包，解压，配置运行环境（重要）
7. 上传Hadoop安装包，解压，配置运行环境。（重要）
8. 配置Hadoop中两个脚本文件的Java路径，配置四个文件的伪分布配置（重要）
9. 初始化hdfs，运行Hadoop
10. jsp查看运行状态。
11. Hadoop的关闭

一、安装Vmware

使用 12 或 15 版本。

二、安装centos7/Ubuntu16

主要是内部Java要区别出来，尽量不要安装自带的Java版本，因为Hadoop和hbase对不同版本的兼容性不同。

三、设置固定IP

有关 win 端网卡 VMware Network Adapter VMnet8 和 Vmware 的网络设置自查网络原理相关
Ubuntu 与 centos 的设置方法不同。

Ubuntu：

ifconfig（记录上网用的网卡名称）
vi /etc/network/interfaces（打开网络配置文件）
修改文件内容如下（ens33为记录的网卡名称）：
auto ens33
iface ens33 inet static
address 192.168.1.211
netmask 255.255.255.0
gateway 192.168.1.1

Centos：

设置固定IP： vi /etc/sysconfig/network-scripts/ifcfg-ens33 
	BOOTPROTO=static
	IPADDR=192.168.144.133
	NETMASK=255.255.255.0
	GATEWAY=192.168.144.1
	DNS1=8.8.8.8
	
重启Linux服务器（reboot）或者重启网络（sudo service network restart）

iface enp2s0 inet6 auto
ifdown ens33 （关闭网卡）
ifup ens33 （启动网卡）
ifconfig（查看网络状态）

四、使用xshell和fz连接Linux操作系统

固定IP的地址+root+root密码
作用，方便操作Linux系统，xshell可以快捷修改文件方便复制粘贴，FZ方便传输win端下载的安装包。
Ubuntu的root连接自行百度

五、ssh免密登录，配置主机名

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa（生成密码文件）
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys（将密码文件追加写到登录文件后，在启动Hadoop时就不用输入密码，尤其是分布式搭建中需要）

vi /etc/sysconfig/network   
	HOSTNAME=master01
vi /etc/hosts
	(添加子节点的格式：IP+主机名，例如：192.168.100.130：localhost)
ssh +主机名 或 ssh +主机网络号 可以快速连接，在分布式网络中，可以登录任意一台主机。

六、安装JDK

使用fz上传JDK安装包至：

 /usr/local

解压：

tar -zxvf jdk安装包

打开配置文件：

vim /etc/profile

尾部添加Java环境变量：

export JAVA_HOME=/usr/local/(jdk文件名)
export PATH=$PATH:$JAVA_HOME/bin

退出，重新加载环境变量：

source /etc/profile

七、安装Hadoop

创建文件夹：

mkdir /usr/local/hadoop

上传Hadoop安装包至：

/usr/local/hadoop

解压：

tar -zxvf hadoop安装包

创建文件夹：

mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs/name
mkdir /usr/local/hadoop/hdfs/data

修改环境变量：

vi /etc/profile

尾部添加Hadoop环境变量：

HADOOP_HOME=/usr/local/hadoop/hadoop-2.7
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH

申明环境变量：

source /etc/profile

八、配置Hadoop伪分布相关的文件

cd /usr/local/hadoop/hadoop-2.7/etc/hadoop

vim hadoop-env.sh 

修改Java路径：

export JAVA_HOME=${JAVA_HOME}  -->>  export JAVA_HOME=/usr/local/jdk1.8.0_40

vim yarn-env.sh

添加声明：export JAVA_HOME=/usr/local/jdk1.8.0_40

vim core-site.xml

在<configuration>中声明主机名和tmp文件夹
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop/tmp</value>
</property>

vim hdfs-site.xml

声明底层存储文件
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
	<name>dfs.datanode.data,dir</name>
	<value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<property>
	<name>mapreduce.framwork.name</name>
	<value>yarn</value>
</property>

vim yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

九、初始化HDFS，运行Hadoop

初始化namenode，目录： hadoop2.7.1/bin ，命令： hdfs namenode –format
启动HDFS系统，目录： hadoop2.7.1/sbin ，命令： ./start-all.sh

十、验证

jps
显示如下，缺一不可：

NodeManager
DataNode
SecondaryNameNode
ResourceManager
Jps
NameNode

打开网页进入网站：192.168.100.130：8088（网络地址+端口号）