Hive初识入门

       Hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。本质是将HQL转换为MapReduce程序。数据存储在HDFS上。

hive架构

用户接口：Client
          CLI（hive shell）、JDFB/ODBC（java访问hive）、WEBUI（浏览器访问hive）

元数据：Metastore

          元数据包括：表名、表所属的数据库（默认default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等等。默认存储在自带的derby数据库中（只允许单个用户使用），推荐采用Mysql数据库。

Hadoop

           使用HDFS进行存储，使用MapReduce进行计算

驱动器：Dirver

           包含：解析器、编译器、优化器、执行器
           解析器：将SQL字符串转换成抽象语法树AST，这一步一般都是第三方工具完成。
           编译器：将AST编译成逻辑执行计划
           优化器：对逻辑执行计划进行优化
           执行器：把逻辑执行计划转换成可以运行的物理计划。对与hive来说就是MR、Spark

hive优点与使用场景

操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）
避免了去写MR，减少开发人员的学习成本
统一的元数据管理，可以与impala/spark等共享元数据
易扩展（HDFS+MapReduce:可以扩展集群规模；支持自定义函数）
数据的离线处理；比如：日志分析、海量结构化数据离线分析
Hive的执行延迟比较高，因此hive常用于离线数据分析的，对于实时性要求不高的场合
Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高

Hive环境搭建（基于hadoop之上）

$ tar -xzvf hive-x.y.z.tar.gz –C /opt/modules/
在hive安装目录下修改配置文件
	vi hive-env.sh
	修改HADOOP_HOME=/opt/modules/hadoop-2.5.0
	修改export HIVE_CONF_DIR=/opt/modules/hive-0.13.1/conf
Hive数据仓库位置配置
默认情况是在/user/hive/warehouse
	$ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
 	$ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
  	$ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
  	$ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse
启动
	bin/hive

hive shell

show databases ;
use default;
show tables ;
create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
load data local inpath '/opt/datas/student.txt'into table student ;
select * from student ;  不走MR
select id from student ;

安装mysql

查看是否已经安装：
	# rpm -qa|grep mysql
卸载已经安装的mysql：
	# rpm -e --nodeps mysql-*
安装rpm包
	# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm
生成默认密码路径在： 
	cat  /root/.mysql_secret
启动mysql： 
	# service mysql start  
查看状态： 
	# service mysql status
安装客户端包：
	# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm
修改mysql密码
	先登录：mysql –uroot  -p前面默认密码
	修改密码：UPDATE user SET Password=PASSWORD('123456') where USER='root';
拷贝mysql驱动jar包，到Hive安装目录的lib下
	$ cp mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/
设置远程用户登录mysql
	进入mysql有一张user表，select User,Host,Password from user;可以查看用户连接信息。
	执行 update user set host=’%’ where user = root and host = 'localhost'	；
	后任何机器都能连接上。执行Flush privileges;	

配置hive-site.xml

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName </name>
	<value>123456</value>
</property>

Hive数据仓库位置配置

default
	/user/hive/warehouse
注意事项
* 在仓库目录下，没有对默认的数据库default创建文件夹
* 如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹
<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/user/hive/warehouse</value>
</property>

在cli命令行上显示当前数据库，以及查询表的行头信息

配置$HIVE_HOME/conf/hive-site.xml
<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
	<description>Whether to print the names of the columns in query output.</description>
</property>
<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
	<description>Whether to include the current database in the Hive prompt.</description>
</property>

配置日志信息

Hive运行日志信息位置 
	$HIVE_HOME/conf/hive-log4j.properties
		hive.log.dir=/opt/modules/hive-0.13.1/logs
		hive.log.file=hive.log

指定hive运行时显示的log日志的级别
	$HIVE_HOME/conf/hive-log4j.properties
		hive.root.logger=INFO,DRFA

hive的基本操作

show databases ;
create database db_hive ;
create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
show tables ;
desc student ;
desc extended student ;
desc formatted student ;

use db_hive ;
load data local inpath '/opt/datas/student.txt'into table db_hive.student ;

show functions ;
desc function upper ;
desc function extended upper ;
select id ,upper(name) uname from db_hive.student ;

Hive Shell常用操作

[beifeng@hadoop-senior hive-0.13.1]$ bin/hive -help
usage: hive
 -d,--define <key=value>          Variable subsitution to apply to hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
 -h <hostname>                    connecting to Hive Server on remote host
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable subsitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -p <port>                        connecting to Hive Server on port number
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                 console)

* bin/hive -e <quoted-query-string>
eg:
	bin/hive -e "select * from db_hive.student ;"

* bin/hive -f <filename>
eg:
	$ touch hivef.sql
		select * from db_hive.student ;
	$ bin/hive -f /opt/datas/hivef.sql 
	$ bin/hive -f /opt/datas/hivef.sql > /opt/datas/hivef-res.txt

* bin/hive -i <filename>
	与用户udf相互使用

在hive cli命令窗口中如何查看hdfs文件系统
	hive (default)> dfs -ls / ;  

在hive cli命令窗口中如何查看本地文件系统
	hive (default)> !ls /opt/datas ；