Hive学习笔记（1）—— Hive 介绍 和 安装

1 Hive 介绍

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

1.1 为什么使用Hive?

1. 直接使用hadoop所面临的问题:(1)人员学习成本太高;(2)项目周期要求太短;(3)MapReduce实现复杂查询逻辑开发难度太大;
2. 操作接口采用类SQL语法，提供快速开发的能力;避免了去写MapReduce，减少开发人员的学习成本;扩展功能很方便。

1.2 Hive 特点

1. 可扩展：Hive可以自由的扩展集群的规模，一般情况下不需要重启服务；
2. 延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
3. 容错：良好的容错性，节点出现问题SQL仍可完成执行。

1.3 基本组成

• 用户接口：包括 CLI、JDBC/ODBC、WebGUI
• 元数据存储：通常是存储在关系数据库如 mysql , derby中。
• 解释器、编译器、优化器、执行器。

1.4 各组件的基本功能

• 用户接口主要由三个：CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
• 元数据存储：Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
• 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。

1.5 Hive与Hadoop的关系

Hive利用HDFS存储数据，利用MapReduce查询数据

1.6 Hive与传统数据库对比

hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析

1.7 Hive的数据存储

• Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）
• 只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。
• Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。
• db：在hdfs中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
• table：在hdfs中表现所属db目录下一个文件夹
• external table：外部表, 与table类似，不过其数据存放位置可以在任意指定路径。普通表: 删除表后, hdfs上的文件都删了。External外部表删除后, hdfs上的文件没有删除, 只是把文件删除了。
• partition：在hdfs中表现为table目录下的子目录。
• bucket：桶, 在hdfs中表现为同一个表目录下根据hash散列之后的多个文件, 会根据不同的文件把数据放到不同的文件中

2 Mysql 安装

2.1

Centos7将默认数据库mysql替换成了Mariadb,首先卸载它。

2.2 下载mysql

mysql5.7.10下载

2.3 安装mysql

2.4 修改mysql 的root密码（忘记或不知道密码时也可以这样修改）

vi /etc/my.cnf

在最后添加
# skip password
skip-grant-tables=1

重启mysql服务 systemctl restart mysqld

2.5 修改密码

use mysql;
update user set authentication_string=password('root'),password_expired='N',password_last_changed=now() where user='root';
flush privileges;
exit

2.6 恢复登录密码

vi /etc/my.cnf
找到skip-grant…这一行，用#注释掉，或删除这一行
#skip-grant-tables=1
保存
重启mysql服务
systemctl restart mysqld

2.7 设置root远程连接数据库

命令行输入 mysql -u root -p

grant all privileges表示赋于所有权限
on *.*表示mysql中的所有数据对象
to ‘root’@’%’表示给root赋权，%允许root从任意ip连接
identified by ‘root’
表示root从远程登录时使用的密码
从本机登录时还可以使用之前的密码
flush privileges;刷新权限

2.8 在防火墙中开启3306端口

firewall-cmd --zone=public --add-port=3306/tcp --permanent
firewall-cmd --reload

查看开启的端口 firewall-cmd --zone=public --list-ports

3 Hive 安装

然后将解压后的文件夹重命名为hive,

3.1 配置 元数据库信息

添加如下内容

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>

3.2 将 JDBC 驱动包 放到 /hive/lib

3.3 配置 hive 环境变量

/etc/profile

export HIVE_HOME=/home/hadoop/apps/hive
export PATH=$PATH:$HIVE_HOME/bin

source /ect/profile

3.4 启动hive

先启动 hdfs start-dfs.sh
命令行输入 hive
发现报错，改正方案

启动成功

新建一个数据库

浏览器访问 http://node1:50070