大数据技术与应用实验六

实验六：hive的安装与配置

mysql和hive的安装与配置

一、安装MySQL

1、下载
：在官网下载MySQL： http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

2、解压
rpm -ivh mysql-community-release-el7-5.noarch.rpm
我的是存放在以下文件夹：
put F:\mysql\mysql-community-release-el7-5.noarch.rpm

3、安装
yum install mysql-community-server

4、重启mysql服务：
service mysqld restart （以后开机不需启动mysql）

5、进入mysql：mysql -u root
→为root用户设置密码root：mysql> set password for ‘root’@‘localhost’ =password(‘root’);
主要设置密码的方法有以下几种：
配置文件/etc/my.cnf加上编码配置：[mysql] default-character-set =utf8
远程连接设置：
把在所有数据库的所有表的所有权限赋值给位于所有IP地址的root用户：
mysql> grant all privileges on . to root@’ %‘identified by ‘root’;
mysql>flush privileges; 刷新权限
如果是新用户而不是root，则要先新建用户：
mysql>create user ‘username’@’ %’ identified by ‘password’;

二、Hive安装与配置

1、下载hive相关压缩包
官网下载地址是：http://mirror.bit.edu.cn/apache/hive/
下载apache-hive-2.3.4-bin.tar.gz

2、传输
将压缩包从Windows传输到Linux当前目录下
SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
put F:\hive\apache-hive-2.3.5-bin.tar.gz
3、解压
解压安装到指定目录下/opt/module
（我的是直接在opt下面，与module同一级别）

4、修改环境变量

修改etc/profile文件，添加HIVE_HOME安装路径。
Source命令更新etc/profile文件，使其生效。

5、配置hive-env.sh
进入/opt/module/hive/conf目录，修改hive-env.sh.template的文件名为hive-env.sh。（可以使用cp或者mv命令）
cp hive-env.sh.template hive-env.sh
修改Hadoop的安装路径
HADOOP_HOME=/opt/module /hadoop-2.7.3
修改Hive的conf目录的路径
export HIVE_CONF_DIR=/opt/module/hive/conf

6、配置hive-site.xml
进入/opt/module/hive/conf目录，修改default.xml.template的文件名为hive-site.xml。（可以使用cp或者mv命令）
cp hive- default.xml.template hive-site.xml

7、在最后添加以下属性：

   <name>javax.jdo.option.ConnectionURL</name>         

jdbc:mysql://bigdata131:3306/hivedb?createDatabaseIfNotExist=true
JDBC connect string for a JDBC metastore

    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>

javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword root password to use against metastore database

注：
查看Hive建库、建表默认的hdfs目录为/user/hive/warehouse

hive.metastore.warehouse.dir
/user/hive/warehouse
location of default database for the warehouse

三、MySQL Connector/J安装

1、下载压缩包
官网下载地址：http://ftp.ntu.edu.tw/MySQL/Downloads/Connector-J/
mysql-connector-java-5.1.47.tar.gz
2、传输
将压缩包从Windows传输到Linux当前目录下¬¬
SecureCRT 【File】→【Connect SFTP Session】开启sftp操作
3、解压
解压到指定目录下/opt/module（/opt是系统自带目录，之下的/module是自己创建的）
4、拷贝驱动包
将驱动包mysql-connector-java-5.1.47-bin.jar复制到/opt/module/hive/lib目录中。

四、启动hive

1、启动Hadoop：start-all.sh
2、初始化Metastore架构：schematool -dbType mysql -initSchema
3、启动Hive：hive
hive> 进入hive shell
4、创建/删除/修改/查看 数据库、表、视图，向表中装载数据，查询数据等等。