Hive 光速入门

Hive 是什么

Hive 是 Hadoop 生态系统中一个重要的框架.

Hive 是建立在 HDFS 储存系统之上的数据查询, 统计, 分析框架, 对应的大数据生态中的分析模块, 而非储存模块.

Hive 是一个数据仓库工具, 通过类 SQL => HQL 查询语句, 管理已经存在 HDFS 上的大型数据集.

Hive 可以根据已经储存的数据, 建立表结构, 指定映射关系, 用户可以使用一个命令行工具和 JDBC 驱动方式连接 Hive.

Hive 能做什么

统计, 查询, 分析储存在HDFS上的海量数据.

Hive 不能做什么

Hive 不是一个关系型数据库, 不能进行 OLTP(online transaction processing) 在线事务处理

不支持实时查询以及行级更新(由于 HDFS 只支持追加写, 不支持随机写)

Hive 的特点

仅储存 schema(metadata) 在关系型数据库中, 真正的数据存在 HDFS 上

支持 OLAP(online analysis processing)

支持类 SQL 查询语言 => HQL

通用, 快速(对于海量数据), 可扩展

Hive 的缺点

(1) Hive的 hql 表达能力有限

①迭代式算法无法表达

②数据挖掘方面不擅长

(2) Hive 的效率比较低

① Hive 自动生成的 mapreduce 程序, 通常情况下不够智能(慢)

②调优困难, 粒度较粗

快速搭建

(1) 下载地址 http://hive.apache.org/

(2) 部署

① 把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下

② 解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面

$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

③ 修改apache-hive-1.2.1-bin.tar.gz的名称为hive

$ mv apache-hive-1.2.1-bin/ hive

④ 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

$ mv hive-env.sh.template hive-env.sh

⑤ 配置hive-env.sh文件

配置 HADOOP_HOME 路径和 HIVE_CONF_DIR 路径

$ export HADOOP_HOME=/opt/module/hadoop-2.7.2

$ export HIVE_CONF_DIR=/opt/module/hive/conf

⑥ Hadoop 集群配置

必须启动 hdfs 和 yarn

$ sbin/start-dfs.sh

$ sbin/start-yarn.sh

在 HDFS 上创建 /tmp 和 /user/hive/warehouse 两个目录并修改他们的同组权限可写

$ bin/hadoop fs -mkdir /tmp

$ bin/hadoop fs -mkdir -p /user/hive/warehouse

$ bin/hadoop fs -chmod g+w /tmp

$ bin/hadoop fs -chmod g+w /user/hive/warehouse

快速使用

（1）启动hive

$bin/hive

（2）查看数据库

hive> show databases;

（3）打开默认数据库

hive> use default;

（4）显示default数据库中的表

hive> show tables;

（5）创建一张表

hive> create tablestudent(id int, name string);

（6）显示数据库中有几张表

hive> show tables;

（7）查看表的结构

hive> desc student;

（8）向表中插入数据

hive> insert into studentvalues(1000,"ss");

（9）查询表中数据

hive> select * from student;

（10）退出 hive

hive> quit;