HADOOP框架搭建记录

安装VMware15pro

一定下载VMware15pro以上。因为版本稳定问题与搭配问题。

安装Ubuntu16.04

VMware 15pro安装成功后如下所示：

然后，点击新建虚拟机：

之后，选择你下载的ubuntu16.04的光驱，如下所示：

再之后，设置linux名称，用户名，密码，密码一定要记好！！：

以上设置好后，虚拟机名称可以修改你喜欢的，由于文件较大，安装位置可以选到C盘外。

之后来到虚拟机设置：
可以将磁盘设置为20G, 而如果你需要的空间较大，可以设置为100G以上。而是否要拆分磁盘为多个文件，看你自愿。

点击自定义硬件，内存按照你本机的内存大小自行设定，如果允许内存为16GB，可以设置为4GB。网络设置为NAT。


处理器个数也记得修改。如果你的本机是6核心或者以上，可以设置为2个核心。

然后就完成，等待它慢慢安装即可。

设置Ubuntu

1.设置语言（如果你想用中文的话）

按照图中步骤即可，最后一步是把你安装的拉到最上面。重启之后就会显示中文。
同时设置时间，地址为shanghai

2. 实现Linux与Windows的互相复制与粘贴

简述一下即可。
首先打开虚拟机，点击最上面的虚拟机选项，点击安装vmware tools。
随后会自动进入DVD挂载，出现vmware xxxx.tar.gz.
输入命令sudo cp VMwareTools-9.6.4-2441333.tar.gz /home
解压： sudo tar -zxvf VMwareTools-9.6.4-2441333.tar.gz
然后进入 vm文件夹，输入命令sudo ./vmware-install.pl
则安装成功。可以在windows下复制一段话到ubuntu中进行尝试。

3. 软件更新服务器选择问题

这一步是为了你将下载链接挂到国内服务器上，比如清华镜像，阿里云镜像，搜狐镜像等。至于选择哪个，随意。

第5步，选择之后请输入你设置的密码，也就是开机密码。注意最后一步，记得点击upload，慢慢等它更新吧。

安装JDK8

此步很容易。
一步步执行下面三行命令即可。

sudo apt-get update
sudo apt-get install default-jdk
update-alternatives --display java #这一步是查看java8的安装路径，为以后设置环境变量用

出现该图片就说明成功了。

SSH无密码登录

该步骤作用是为了以后master与slaves之间通信免密。
也是为了能用远程控制软件无密码访问。
一行行执行下面命令：

sudo apt-get install ssh
sudo apt-get install rsync
ssh-keygen -t rsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

成功后如下图：

安装Hadoop 2.7

---

明天继续。。。

---

安装之前下载好hadoop2.7版本。
第一步解压：

sudo tar -zxvf hadoop-2.7.7.tar.gz

第二步移动文件夹到/usr/local/hadoop：

sudo mv hadoop-2.7.7 /usr/local/hadoop

第三步编辑环境变量。
打开bashrc

sudo gedit ~/.bahsrc

将下面的命令复制到文件中：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS='-Djava.library.path=$HADOOP_HOME/lib'
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

保存文档，并输入下面命令使修改的内容生效：

source ~/.bashrc

第四步修改hadoop配置文件

1. 设置hadoop-env.sh

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}修改

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

2. 设置core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

输入下面内容

<configuration>
<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
</property>
</configuration>

3. 设置YARN-site.xml
   YARN-site.xml含有MapReduce2（YARN）的设置
   终端输入：

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

然后复制下面内容：

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

<property>
	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

如果你打算自己敲，请保存之前确认别出错。

4. 设置mapred-site.xml
   mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况。

首先复制模板文件

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

然后编辑

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

内容如下：

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

5. 设置hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

如下图所示：

保存关闭。

6. 创建并格式化HDFS
   创建Namenode数据存储目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

创建datanode数据存储目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

将hadoop目录的所有者更改为你自己的用户名，我这里用’xxx’替代。

sudo chown xxx:xxx -R /usr/local/hadoop

格式化：

hadoop namenode -format

一开始可以格式化，之后不要轻易使用。当心你的数据全部被删除，一切又重来。

7. 启动Hadoop
   至此，hadoop 安装完成，你可以打开了，打开命令如下：

start-dfs.sh #启动hdfs
start-yarn.sh # 启动yarn

或者一行命令

start-all.sh

如何确认是否启动成功？
输入命令：

jps

我的结果如下：

你也可以打开web界面
在ubuntu自带的fiefox浏览器中输入：

http://localhost:8088

如下所示。

输入命令：

http://localhost:50070

请注意：以上安装的是Hadoop Single Node Cluster。即单机模式。