CUHK-IEMS5730-HW0详解

参考了很多网上和助教的教程，但是都不完全适用于这次的作业，顺便为了记录一下自己的学习过程，我决定写出这篇教程。

本篇教程中英文混杂，请谅解。

Linux学习要点：

1. 作为一个user, 不要轻易使用sudo命令，比如在打开/修改user自身安装的软件的文件，以及修改配置文件时，都不要轻易使用sudo；
2. 在update或者install时，可以使用sudo命令；
3. 学习Linux时，不要总是看着教程上的命令完成工作，这样永远记不住命令。知道自己想干嘛后，以一个user身份去尝试做；
4. 修改环境变量时，只需要在~/.bashrc文件里修改，因为这个文件是用户的配置文件。不能在全局的配置文件中修改。

教程环境

• Google Cloud Platform
• Ubuntu 14.04 LTS
• Instance: 2 cores, 8GB ROM, 50GB storage
• Openjdk-7-jdk/jre
• Hadoop 2.9.2

现在开始

• install SSH
• install Openjdk JDK&JRE
• install Hadoop-2.9.2

安装SSH server:

~$ sudo apt-get install openssh-server

生成SSH密钥：

> ierg5730-gcp-key@vm-slave-1:~$ssh-keygen
# remember not to set passphase
> ierg5730-gcp-key@vm-slave-1:~$cat id_rsa.pub >> authorized_keys
# to test 
> ierg5730-gcp-key@vm-slave-1:~$ssh localhost

SSH成功后，便可进行下一步。

安装Openjdk JDK and JRE:

~$ sudo apt-get install openjdk-7-jdk
~$ sudo apt-get install openjdk-7-jre

安装 hadoop 2.9.2， 首先下载安装包：

 ~$ wget http://ftp.cuhk.edu.hk/pub/packages/apache.org/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

解压hadoop压缩包，

>ierg5730-gcp-key@vm-slave-1:~$ tar -zxf hadoop-2.9.2.tar.gz
# if you want to change the name of this file(change name from 'hadoop-2.9.2' to 'hadoop')
>ierg5730-gcp-key@vm-slave-1:~$ mv hadoop-2.9.2 hadoop

（个人习惯）将hadoop-2.9.2文件重命名为hadoop，教程之后的~/hadoop地址即代表~/hadoop-2.9.2,重命名命令如下：

$mk hadoop-2.9.2 hadoop

修改JAVA_HOME:

>vim ~/.bashrc
>export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
# after edit .bashrc, remember to source it
>source ~/.bashrc

修改Hadoop配置文件中的JAVA_HOME：

>ierg5730-gcp-key@vm-slave-1:~/hadoop/etc/hadoop$ vim hadoop-env.sh
# add under line to this file
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

关于SSH连接，如果A想连B，就将A生成的公钥添加到B中，就可以用A来连B了（command: ssh B_id）(最开始将不同虚拟机的公钥放在彼此中时，可以在GCP中的虚拟机设置里面添加。)
建立SSH连接后，就可以通过SCP进行文件传输了，很开心。

同样，管理多台机器的ssh连接是，可以通过在/etc/hosts添加：

 ip nickname
 # for example:
 10.0.220.171 vm-master

这样的形式来使用nickname连接(例如： ssh vm-master)。
需要注意的是，使用GCP或者AWS时，这里的IP地址要填写内网IP，而不是外部IP，因为内网IP是持续不变的，而外网IP是会随着虚拟机重启而变化。

前期准备工作已经做完，现在只需修改Hadoop配置文件中的一部分就可以搭建单节点为伪分布式Hadoop。
一下内容主要参考Apache Hadoop官方教程：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

因为本文搭建的是伪分布式单节点，所以只需要参考文档中Pseudo-Distributed Operation部分即可，至于是否安装Yarn，则看个人需要（本人未安装）。

下面开始集群的搭建

首先要开始对四台机器进行SSH配置，
即：将每台机器的公钥分别放入其他机器的GCP设置中。

本人的虚拟机名称如下：

集群搭建主要参考homework0后面给出的教程进行，同时，也进行一些微小的改动，下面记录一下需要改动的地方
先放教程：

https://www.edureka.co/blog/setting-up-a-multi-node-cluster-in-hadoop-2.X

教程中只配置两台机器，而且他们的名称刚好就是master和slave，所以在任何需要master和slave的时候，一定要替换成自己的机器名称。

如果你按照之前的配置一路走下来的话，那你可以无视教程中的STEP1~ STEP11, 按照之后的步骤进行就OK。

需要注意的一点是：

• 在编辑所有机器的masters文件时，都是一致的，即：将master的名称写上去；
• 只有master上的slaves文件是唯一的，即：将master和所有slave的名称都写上去；所有slave上的slaves文件都是一样的，即：将所有slave的名称都写上去。
• 因为教程中只有两个节点，所以在Step17中，dfs.replication的value只有2，这里我们有四个节点，因此要改为4。

集群搭建完成后，开始再次使用teragen生成数据：

关于Teragen生成数据大小的解释如下：

使用Teragen来产生数据，示例如下：
hadoop jar hadoop--examples.jar teragen 参数1 参数2
teragen的参数解释：
参数1：表示要产生的数据的行数。Teragen每行数据的大小是100B。
要产生1T的数据，需要的行数=1024102410241024/100=10995116277行
参数2 : 产生的数据放置的文件夹地址

题目要求我们分别生成一个2G和一个20G的文件，通过计算得到我们需要生成的的行数：

2*1024*1024*1024/100 = 21,474,837 lines
20*1024*1024*1024/100 = 214,748,365 lines

20G那个真心不小，我生成它之后，开始跑terasort进行排序，结果，花了1000多港币在上面。很烦。

分割线，上面的未完待续

编译及打包JAVA程序

将写好的JAVA程序放到Linux master机器上后，我们需要先将JAVA程序编译并打包。

在这部分，我们需要Hadoop系统中的jar包来编译我们的JAVA程序，首先进入~/hadoop目录，然后输入命令bin/hadoop classpath，程序就会输出所有编译JAVA程序所需要的Jar包地址，示例输出如下所示：

ierg5730-gcp-key@vm-master:~/hadoop$ bin/hadoop classpath
/home/ierg5730-gcp-key/hadoop/etc/hadoop:/home/ierg5730-gcp-key/hadoop/share/hadoop/common/lib/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/common/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/hdfs:/home/ierg5730-gcp-key/hadoop/share/hadoop/hdfs/lib/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/hdfs/*:
/home/ierg5730-gcp-key/hadoop/share/hadoop/yarn:/home/ierg5730-gcp-key/hadoop/share/hadoop/yarn/lib/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/yarn/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/mapreduce/lib/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/mapreduce/*:/home/ierg5730-gcp-key/hadoop/etc/hadoop:/home/ierg5730-gcp-key/hadoop/share/hadoop/common/lib/*:
/home/ierg5730-gcp-key/hadoop/share/hadoop/common/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/hdfs:/home/ierg5730-gcp-key/hadoop/share/hadoop/hdfs/lib/*:
/home/ierg5730-gcp-key/hadoop/share/hadoop/hdfs/*:
/home/ierg5730-gcp-key/hadoop/share/hadoop/yarn:/home/ierg5730-gcp-key/hadoop/share/hadoop/yarn/lib/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/yarn/*:/home/ierg5730-gcp-key/hadoop/share/hadoop/mapreduce/lib/*:
/home/ierg5730-gcp-key/hadoop/share/hadoop/mapreduce/*:/home/ierg5730-gcp-key/hadoop/contrib/capacity-scheduler/*.jar:/home/ierg5730-gcp-key/hadoop/contrib/capacity-scheduler/*.jar

于是我们下一步就可以对JAVA程序进行编译。示例如下，假设我们的程序名为WordCount.java：
vm-master:~/hadoop$ javac -cp $(bin/hadoop classpath) WordCount.java
或者我们可以通过设置CLASSPATH来完成编译，方法如下：

1. 首先，进入打开用户配置文件：
   vm-master:~/hadoop$ vi ~/.bashrc;
2. 在该文件中插入两条语句：
   export HADOOP_HOME=/home/{user_name}/hadoop export HADOOP_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)
3. 保存并退出，然后执行vm-master:~$ source .bashrc,使这些环境变量被保存。
4. 通过echo $HADOOP_CLASSPATH来检测该环境变量是否正常；
5. 这样我们就可以直接通过指定HADOOP_CLASSPATH来编译：vm-master:~/hadoop$ javac -classpath $HADOOP_CLASSPATH WordCount.java

紧接着我们要制作jar包：

jar cvf WordCount.jar *.class