hive指南

1.Hive

1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。

本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。

hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。

这套映射工具称之为metastore，一般存放在mysql中

1.2 hive在hdfs中的默认位置是/user/hive/warehouse，是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。

2.hive的安装

  (1)解压缩、重命名、设置环境变量

  (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template  hive-site.xml重命名

     在目录$HIVE_HOME/conf/下，执行命令mv hive-env.sh.template  hive-env.sh重命名

  (3)修改hadoop的配置文件hadoop-env.sh，修改内容如下：

     export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin

  (4)在目录$HIVE_HOME/bin下面，修改文件hive-config.sh，增加以下内容：

     export JAVA_HOME=/usr/local/jdk

     export HIVE_HOME=/usr/local/hive

     export HADOOP_HOME=/usr/local/hadoop

  (5)试一试

执行hive进入shell

show databases;

use default;

show tables;

create table t1(name string);

hadoop0:50070

user/hive/warehourse

derby.log

derby不能由两个客户端打开，改 用mysql

3.安装mysql

  (1)删除linux上已经安装的mysql相关库信息。rpm  -e  xxxxxxx   --nodeps

    强制删除--nodeps

    执行命令rpm -qa |grep mysql 检查是否删除干净

  (2)执行命令 rpm -i   mysql-server-********  安装mysql服务端  

  (3)启动mysql 服务端，执行命令  mysqld_safe &

  (4)执行命令 rpm -i   mysql-client-********  安装mysql客户端

  (5)执行命令mysql_secure_installation设置root用户密码

mysql -uroot -padmin

4. 使用mysql作为hive的metastore

  (1)把mysql的jdbc驱动放置到hive的lib目录下

  (2)修改hive-site.xml文件，修改内容如下：  

<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>

grant all on hive.* to 'root'@'%' identified by 'admin'

flush privilieges

记得吧mysql connection的lib复制到hive的lib下

5. 内部表

   CREATE TABLE t1(id int);  

   LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1;

   hadoop fs -put id /hive/t1/id2

   CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

6. 分区表

   CREATE TABLE t3(id int) PARTITIONED BY (day int);  

   LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t3 PARTITION (day=22);   

select * from t3 where name=22;

常查询的字段作为分区字段

7. 桶表

也是对数据的划分

   create table t4(id int) clustered by(id) into 4 buckets; 

默认不使用桶，启用

   set hive.enforce.bucketing = true;

   insert into table t4 select id from t3;

hash后放入四个桶中，相同值hash结果相同，两个表连接？

8. 外部表

内部表也叫管理表

   create external table t5(id int) location '/external';   

直接查询，不用load，因为已经指定了数据的路径

drop table t5

只删除表连接，类似于快捷方式

视图

把复杂的命令简单化

select * from t1 limit 5

sort by

多个reduce

order by

 一个reduce执行

distribute by

分区执行

cluster by

两个操作和在一起

distinct

去重

describe function pi

MySql中hive库的表

 

Tables_in_hive     |
+--------------------+
| BUCKETING_COLS     |
| CDS                |
| COLUMNS_V2         |
| DATABASE_PARAMS    |
| DBS                |
| PARTITIONS         |
| PARTITION_KEYS     |
| PARTITION_KEY_VALS |
| PARTITION_PARAMS   |
| SDS                |
| SD_PARAMS          |
| SEQUENCE_TABLE     |
| SERDES             |
| SERDE_PARAMS       |
| SORT_COLS          |
| TABLE_PARAMS       |
| TBLS