Linux下Hive的安装部署

软件版本：

• CentOS 6.7
• hive-1.2.1
• hadoop-2.7.4

一、yum安装MySQL

1、查看系统之前是否已安装MySQL

      rpm -qa | grep mysql

2、卸载MySQL：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64(查看到的选项全部删除)

注意：强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除

3、安装MySQL

• yum install mysql
• yum install mysql-server
• yum install mysql-devel

提示：也可以同时安装  yum -y install mysql mysql-server mysql-devel,命令粘贴出错就手敲

4、启动MySQL服务：service mysqld start

5、验证MySQL安装是否成功

提示：使用 mysqladmin 命令来检查服务器的版本,在linux上该二进制文件位于 /usr/bin

6、设置MySQL登录密码

Mysql安装成功后，默认的root用户密码为空，可以使用以下命令来创建root用户的密码：
mysqladmin -u root password "123"

连接到Mysql：mysql -u root -p123

7、开启Mysql远程连接

• 切换到mysql库：use mysql
• 查看原始权限数据：select user,password,host from user

• 修改权限：update user set host ='%' where user = 'root' and password = '123';

• 更新权限：flush privileges

• 远程连接

注意：可能会出现修改后的密码无法登录的现象，这个现在还不知道什么原因，但是跳过密码重新设置就行。至此yum安装MySQL就完成了

二、安装Hive

1、上传tar包：hive-1.2.1.tar.gz

2、解压：tar -zxvf hive-1.2.1.tar.gz

3、配置环境变量

export HIVE_HOME=/export/servers/hive.1.2.1
export PATH=$PATH:$HIVE_HOME/bin

4、修改配置文件(路径：$HIVE_HOME/conf)

• hive-env.sh

a、mv hive-env.sh.template hive-env.sh

b、vim hive-env.sh，指定Hadoop安装路径即可

HADOOP_HOME=/export/servers/hadoop-2.7.4

• 创建文件hive-site.xml，并配置

<configuration>
  <property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
	<description>JDBC connect string for a JDBC metastore</description>
  </property>

  <property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
	<description>Driver class name for a JDBC metastore</description>
  </property>

  <property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
	<description>username to use against metastore database</description>
  </property>

  <property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123</value>
	<description>password to use against metastore database</description>
  </property>
</configuration>

为什么安装Hive集群需要使用MySQL？

Apache Derby非常小巧，核心部分derby.jar只有3M，所以既可以做为单独的数据库服务器使用，也可以内嵌在应用程序中使用。所以hive采用了Derby作为一个内嵌的元数据库，可以完成hive安装的简单测试。
    hive安装完成之后，就可以在hive shell中执行一些基本的操作，创建表、查询等等。如果你细心的话，就会发现一个问题：
    当在某个目录下启动hive，执行hive shell时，hive默认会在当前目录下生成一个derby文件和一个metastore_db目录，这两个文件主要保存刚刚在shell中操作的一些sql的结果，比如新建的表、添加的分区等等
这种存储方式带来的弊端
    1.在同一个目录下同时只有一个hive客户端能使用数据库（单session）
    2.切换目录启动新的shell，无法查看之前创建的表，不能实现表数据的共享(元数据位置的不确定性，导致数据共享性不好)
因此使用mysql作为元数据库
    由于使用默认的元数据库有些弊端，所以采用mysql保存hive元数据解决上面的问题。hive所有的元数据都保存在同一个库里，这样不同开发者创建的表可以实现共享。

5、导入Mysql驱动包：mysql-connector-java-5.1.32.jar

注意：不是mysql-connector-java-6.x的都可以，否则会报错

6、启动Hive：$HIVE_HOME/bin/hive

注意：hive 2.x版本，在启动hive前，需对元数据库进行初始化，初始化命令为schematool -initSchema -dbType mysql

7、登录Hadoop的web-ui查询创建的库

三、附录

1、修改mysql密码

修改配置文件，跳出密码登录：vim /etc/my.cnf

重启mysql服务：service mysqld restart

登录mysql，并修改密码

删除刚才在配置文件中的跳过密码设置，重启mysql服务