二 Hive安装环境准备
2.1 Hive安装地址
1）Hive官网地址：
http://hive.apache.org/
2）文档查看地址：
https://cwiki.apache.org/confluence/display/Hive/GettingStarted
3）下载地址：
http://archive.apache.org/dist/hive/
4）github地址：
https://github.com/apache/hive
2.2 Hive安装部署
1）Hive安装及配置
（1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下
（2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面
[itstar@bigdata111 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/
（3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive
[itstar@bigdata111 module]$ mv apache-hive-1.2.1-bin/ hive
（4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
[itstar@bigdata111 conf]$ mv hive-env.sh.template hive-env.sh
（5）配置hive-env.sh文件
（a）配置HADOOP_HOME路径
export HADOOP_HOME=/opt/module/hadoop-2.8.4
（b）配置HIVE_CONF_DIR路径
export HIVE_CONF_DIR=/opt/module/hive/conf
注：Hive的log默认存放在/tmp/itstar/hive.log目录下（当前用户名下）。
（1）修改hive的log存放日志到/opt/module/hive/logs
（2）修改conf/hive-log4j.properties.template文件名称为hive-log4j.properties
[itstar@bigdata111conf]$ pwd
/opt/module/hive/conf
[itstar@bigdata111conf]$ mv hive-log4j.properties.template hive-log4j.properties
（3）在hive-log4j.properties文件中修改log存放位置
hive.log.dir=/opt/module/hive/logs
2）Hadoop集群配置
（1）必须启动hdfs和yarn
[itstar@bigdata111hadoop-2.8.4]$ sbin/start-dfs.sh
[itstar@bigdata112 hadoop-2.8.4]$ sbin/start-yarn.sh
（2）在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写
[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -mkdir /tmp
[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -mkdir /user/hive/warehouse
[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -chmod g+w /tmp
[itstar@bigdata111hadoop-2.8.4]$ bin/hadoop fs -chmod g+w /user/hive/warehouse
3）Hive基本操作
（1）启动hive
[itstar@bigdata111hive]$ bin/hive
（2）查看数据库
hive>show databases;
（3）打开默认数据库
hive>use default;
（4）显示default数据库中的表
hive>show tables;
（5）创建一张表
hive> create table student(id int, name string) ;
（6）显示数据库中有几张表
hive>show tables;
（7）查看表的结构
hive>desc student;
（8）向表中插入数据
hive> insert into student values(1001,"ss1");
（9）查询表中数据
hive> select * from student;
（10）退出hive
hive> quit;
2.4 MySql安装
2.4.1 安装包准备
1. 官网下载地址
https://dev.mysql.com/downloads/file/?id=471503
2.检测本地是否有mysql已存在的包
rpm -qa | grep mysql
3.检测本地是否有mariadb已存在的包
rpm -qa | grep mariadb
4.如果存在，则使用yum命令卸载
mariadb-libs-5.5.56-2.el7.x86_64
yum -y remove mariadb-libs-5.5.56-2.el7.x86_64
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
5.创建一个文件夹，上传jar包到/opt/software/mysql
mkdir /opt/software/mysql
6.解压mysql jar包
tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql
7.安装mysql的 server、client、common、libs、lib-compat
rpm -ivh --nodeps mysql-community-server-5.7.19-1.el7.x86_64.rpm
rpm -ivh --nodeps mysql-community-client-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm
8.查看mysql的服务是否启动
systemctl status mysqld
Active: inactive (dead)
9.启动mysql的服务
systemctl start mysqld
10.再次检查mysql的服务是否启动
systemctl status mysqld
Active: active (running) since Thu 2019-03-21 07:23:08 EDT; 2s ago
11.查看默认生成的密码
cat /var/log/mysqld.log | grep password
2019-03-21T11:23:01.643479Z 1 [Note] A temporary password is generated for root@localhost: iwkJGgd:j6jO
12.登录mysql服务
mysql -uroot -p’然后粘贴上密码’
13.修改mysql密码规则
| 0 or LOW | 长度 |
| 1 or MEDIUM | 长度、大小写、数字、特殊字符 |
| 2 or STRONG | 长度、大小写、数字、特殊字符、词典 |
注：以下修改是临时修改
a. 密码强度检查等级，0/LOW、1/MEDIUM、2/STRONG
mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.05 sec)
b.密码至少要包含的小写字母个数和大写字母个数
mysql> set global validate_password_mixed_case_count=0;
Query OK, 0 rows affected (0.00 sec)
c.密码至少要包含的数字个数
mysql> set global validate_password_number_count=3;
Query OK, 0 rows affected (0.00 sec)
d.密码至少要包含的特殊字符数
mysql> set global validate_password_special_char_count=0;
Query OK, 0 rows affected (0.00 sec)
e.密码最小长度，参数默认为8，
它有最小值的限制，最小值为：validate_password_number_count + 密码至少要包含的数字个数validate_password_special_char_count +特殊字符
(2 * validate_password_mixed_case_count)至少要包含的小写字母个数和大写字母个数
mysql> set global validate_password_length=3;
Query OK, 0 rows affected (0.00 sec)
14. 修改密码：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' IDENTIFIED BY '000000' WITH GRANT OPTION;
(这两步可以跳过)
mysql> use mysql;
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+-------+
| Variable_name | Value |
+--------------------------------------+-------+
| validate_password_dictionary_file | |
| validate_password_length | 3 |
| validate_password_mixed_case_count | 0 |
| validate_password_number_count | 3 |
| validate_password_policy | LOW |
| validate_password_special_char_count | 0 |
+--------------------------------------+-------+
15.修改远程登录权限
如上图所示：这个是可以成功远程链接得配置
大家默认的%的位置是localhost,即意味着只能本机访问
查询当前user表内root的登录权限：
select host,user from mysql.user;
修改权限为所有%：
update mysql.user set host = '%' where user = 'root';
刷新缓存：
flush privileges;
2.5 Hive元数据配置到MySql
2.5.1 驱动拷贝
1）上传mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/
[root@bigdata111mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
2.5.2 配置Metastore到MySql
1）在/opt/module/hive/conf目录下创建一个hive-site.xml
[itstar@bigdata111conf]$ touch hive-site.xml
[itstar@bigdata111conf]$ vi hive-site.xml
2）根据官方文档配置参数，拷贝数据到hive-site.xml文件中。
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://bigdata111:3306/metastore?createDatabaseIfNotExist=true&useSSL=false(启动hive时可能有警告,加上消除警告)
</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>000000</value>
<description>password to use against metastore database</description>
</property>
</configuration>
3）配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）
4）在hive的bin目录下执行./schematool -dbType mysql -initSchema
元数据修改成功：
2.5.3 Hive常见属性配置
2.5.3.1 Hive数据仓库位置配置
1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下
2）在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。
3）修改default数据仓库原始位置（将hive-default.xml.template如下配置信息拷贝到hive-site.xml文件中）
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
配置同组用户有执行权限
bin/hdfs dfs -chmod g+w /user/hive/warehouse
2.5.3.2 查询后信息显示配置
1）在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
2）重新启动hive，对比配置前后差异
（1）配置前
（2）配置后
2.5.3.3 Hive运行日志信息配置
1）Hive的log默认存放在/tmp/itstar/hive.log目录下（当前用户名下）。
2）修改hive的log存放日志到/opt/module/hive/logs
（1）修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为
hive-log4j.properties
[itstar@bigdata111conf]$ pwd
/opt/module/hive/conf
[itstar@bigdata111conf]$ mv hive-log4j.properties.template hive-log4j.properties
（2）在hive-log4j.properties文件中修改log存放位置
hive.log.dir=/opt/module/hive/logs
2.5.3.4 多窗口启动Hive测试
1）先启动MySQL
[itstar@bigdata111mysql-libs]$ mysql -uroot -p000000
查看有几个数据库
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| test |
+--------------------+
2）再次打开多个窗口，分别启动hive
[itstar@bigdata111hive]$ bin/hive
3）启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| metastore |
| mysql |
| performance_schema |
| test |
+--------------------+
扫一扫
7811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
