Hadoop2.7.3及常用组件安装和配置

最近在学Hadoop，从最开始的安装配置，到简单的小程序，再到项目实战，都非常的有趣。最开始也是在网上找了很多教程来入门，但是因为有的教程是比较早期的Hadoop1.x甚至Hadoop0.x的，有些配置在现在流行的Hadoop2中可能会出问题，自己也被这些版本差异搞的很头疼，不过好在网上还是能找到些资料的，也成功的配起了Hadoop以及常用的组件，在这里也做个总结，避免以后重装了系统又搞忘了当初是怎么配置的，也能少走点弯路。

总结一下Hadoop及常用组件（HBase，Hive，Pig，Sqoop）的环境配置，操作系统：Ubuntu 16.04（类似的系统如Linux Mint也完全没有问题，macOS也是可以的），JDK：oracle-java8（这个随意，open-JDK8也是可以的）。

添加额外仓库

sudo add-apt-repository ppa:webupd8team/java

回车以后输入当前用户密码，然后再回车确认。之后更新仓库

sudo apt-get update

然后安装oracle-java8

sudo apt-get install oracle-java8-installer

环境变量呆会和Hadoop的一起配置，这里先做另一步，Hadoop不管是集群模式还是单机模式都要用到ssh登陆（和远程登录类似），由于Ubuntu默认已经安装了openssh-client，所以只需要安装openssh-server即可

sudo apt-get install openssh-server

安装好后，ctrl+alt+T打开终端，使用ssh命令登陆本机

ssh localhost

ssh首次登陆会要求输入yes生成密钥，然后输入当前用户的密码，然后ctrl+D退出，之后进入用户目录下的.ssh文件夹（这是个隐藏文件夹），加入授权

cd ~/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys

之后再使用ssh登陆localhost时就不必再输入密码了，接下来下载Hadoop，HBase，Hive，Pig，到官网下载最新稳定版二进制文件包（一般文件名形如xxx-bin.tar.gz）

http://hadoop.apache.org/
http://hbase.apache.org/
http://hive.apache.org/
http://pig.apache.org/
http://sqoop.apache.org/

解压后分别重命名为hadoop，hbase，hive，pig，sqoop移动至/usr/local下，并且更改所有者为你的用户名（目的是为了修改配置文件方便，不用频繁的sudo）如下

sudo chown your-user-name hadoop/
sudo chown your-user-name hbase/
sudo chown your-user-name hive/
sudo chown your-user-name pig/
sudo chown your-user-name sqoop/

之后进行环境变量的集中配置，大致要配置这些（尽可能多配置，方便今后的使用），打开/etc/profile，在末尾追加如下内容

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hbase/bin:/usr/local/pig/bin:/usr/local/hive/bin:/usr/local/sqoop/bin
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HBASE_HOME=/usr/local/hbase
export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop/
export HIVE_HOME=/usr/local/hive
export PIG_HOME=/usr/local/pig
export PIG_CLASSPATH=$HADOOP_HOME/etc