Hadoop分布式搭建、Hbase安装、Hive安装

Hadoop分布式搭建、Hbase安装、Hive安装

关于hadoop分布式环境的搭建，网上有很多教程，看起来很简单，对着别人的教程一步一步来，但是真的是亲身试了这趟水，才知道这趟水有多深，就算步骤对着别人的教程一步不错，也会出现大大小小的问题，我前后安装的数次，解决了N个乱七八糟的问题，真的很消磨耐心，但是学习之路永远艰且长，所以认真学，逐渐摸清它的本质，就算出现问题也能自己解决。
这是最终成功的版本，特此记录成安装手册

• 安装环境：ubuntu12.04 64位系统
  Hadoop版本：hadoop2.6.0

Hadoop安装

一、创建用户

：因为我在创建虚拟机，安装ubuntu的时候用的用户就是hadoop，默认为管理员，不用再设置增加权限，并将用户密码设置为hadoop。

二、更新apt：

根据网上教程，若是没有更新apt安装软件，可能有些软件安装不了。
登录hadoop用户，按ctrl+alt+t打开终端窗口，执行如下命令：

$ sudo apt-get update

三、安装SSH、配置SSH无密码登陆：

SSH是专为远程登录会话和其他网络服务提供安全性的协议
公钥私钥简单实现原理：
1、比如两台服务器A、B，A要通过SSH远程B，A首先本地生成公钥私钥对，将公钥发送给B，B收到A的公钥后加入到自己授权列表中。此时A、B公钥私钥对配置完成
2、在A请求远程B时，B先在授权列表中检查是否有A相关登录用户配置，如果有，那么就B就用A的公钥加密一段信息，发送给A，A收到后用私钥解密，然后发回给B，B就接收A解密后的信息，与发出的信息进行校验，如果校验成功则允许登录

集群、单节点模式都需要用到SSH登陆，ubuntu默认已安装了SSH client，此外还需要安装SSH server

安装后，可以使用如下命令登陆本机：

此时，会有如下提示（SSH首次登陆提示），输入yes。然后按提示输入密码hadoop，这样就登陆到本机了。

配置SSH无密码登陆：首先退出刚才的SSH，回到原先的终端窗口，然后利用ssh-keygen生成密匙，并将密匙加入到授权中：

加入授权：

四、安装java环境：

jre和jdk的区别

JRE（Java Runtime Environment，Java运行环境），是运行 Java 所需的环境。JDK（Java Development Kit，Java软件开发工具包）即包括 JRE，还包括开发 Java 程序所需的工具和类库。

直接通过命令安装OpenJDK 7

安装好OpenJDK后，找到相应的安装路径：

红色的/bin/javac前面的一串：/usr/lib/jvm/java-7-openjdk-i386，就是其安装路径

接着配置JAVA_HOME环境变量：


使该环境变量生效：

五、安装hadoop：

我下载的是hadoop-2.6.0版本，下载在“下载”文件夹中；并选择将hadoop安装到/usr/local/中

1. 将hadoop安装包解压到/usr/local中
   

2. 将文件夹名改为hadoop：
   

3. 修改文件权限：
   
   Hadoop解压后即可使用。输入如下命令检查hadoop是否可用，成功则会显示hadoop的版本信息：
   

六、hadoop伪分布式配置：

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

1. 修改配置文件core-site.xml
   
   如图修改
   
   

2. 修改配置文件hdfs-site.xml:
   
   

3. 配置完成后，执行NameNode的格式化
   
   成功：
   

4. 开启NameNode和DataNode守护进程：
   

七、启动YARN

新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。
YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。

1. 重命名：
   

2. 修改配置文件mapred-site.xml:
   

3. 修改配置文件yarn-site.xml:
   
   

4. 启动YARN：
   

5. 开启历史服务器，在Web中查看任务运行情况：
   
   

八、

网络配置：
我使用的是虚拟机，所以需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连
此外，如果节点的系统是在虚拟机中直接复制的，要确保各个节点的 Mac 地址不同（可以点右边的按钮随机生成 MAC 地址，否则 IP 会冲突

1. 安装其他两台slave虚拟机：slave1，slave2
2. 按以上相同的方法，在这两台slave虚拟机上配置hadoop用户、安 装SSH server、安装java环境。

3. 查看得知3台虚拟机的ip地址：

4. 在master节点上修改主机名，改为master：
   
   

5. 修改所用结点的ip映射：
   
   

6. 用同样的方法，在其他两个slave1，slave2结点上，修改主机名和自己所用结点的ip映射。修改完之后还需要重启机器一下，才能机器名的变化。

7. 配置好后需要在各个节点上执行ping命令，测试是否相互 ping 得通，如果 ping 不通，后面就无法顺利配置成功：

九、SSH无密码登陆结点

1. 首先生成master结点的公匙，在master的终端执行，因为改过主机名，所以得删掉原来的再重新生成一次
   

2. 让master结点能无密码登陆本机，执行：
   

3. 在master结点上将公匙传输到slave1，和slave2结点：
   
   

4. 接着在slave1结点上，将SSH的公匙加入授权：
   

5. 在master结点上就可以无密码SSH到各个结点了，执行如下命令进行检验：
   

十、配置PATH变量：

将hadoop安装目录加入到PATH变量中，这样就可以在任意目录中直接使用hadoop、hdfs等命令了，在master结点中进行配置，执行：

加入一行：

然后执行：（使配置生效）

十一、配置集群/分布式环境

1. 修改文件core-site.xml
   

   修改文件hdfs-site.xml：
   

修改文件mapred-site.xml：

修改文件yarn-site.xml：

1. 配置好文件后，将master上的/usr/local/hadoop文件夹复制到各个结点上，在master结点上执行：
   删除hadoop临时文件和日志文件
   
   压缩后再复制：
   
   
2. 在slave结点上执行：
   
   
3. 首次启动需要先在master结点上执行NameNode的格式化：
   
4. 启动hadoop，在master结点上执行：
   
   通过jps指令查看各个节点启动的进程

Hbase安装

一、安装运行HBase：

1. 解压安装包至路径/usr/local
   
2. 将解压的文件名hbase-1.1.4改为hbase：
   
3. 查看hbase版本，确定hbase安装成功：
   

Hive安装

1. 解压缩下载的Hive软件包
   
2. 将文件名改为hive：
   
3. 修改文件权限：
   
4. 创建元数据存储文件夹：
   
5. 修改文件权限：
   
6. 为了方便使用，将hive的命令加入到环境变量中去，使用下列命令编辑.bashrc文件：
   
   
   使配置生效：
   
7. 运行启动hive：