简介
hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术,主要是通过将用户书写的SQL语句翻译成MapReduce代码,然后发布任务给MR框架执行,完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
总结
Hive是一个数据仓库(数据库)
Hive构建在HDFS上,可以存储海量数据。
Hive允许程序员使用SQL命令来完成数据的分布式计算,计算构建在yarn之上。(Hive会将SQL转化为MR操作)
优点:
简化程序员的开发难度,写SQL即可,避免了去写mapreduce,减少开发人员的学习成本
缺点:
延迟较高(MapReduce本身延迟,Hive SQL向MapReduce转化优化提交),适合做大数据的离线处理(TB PB级别的数据,统计结果延迟1天产出)
Hive不适合场景:
1:小数据量, MySQL。
2:实时计算:Spark HBase
-
数据库 DataBase
-
数据量级小,数据价值高
-
-
数据仓库 DataWareHouse
-
数据体量大,数据价值低
-
-
Hive 的架构
1. 简介
HDFS:用来存储hive仓库的数据文件 yarn:用来完成hive的HQL转化的MR程序的执行 MetaStore:保存管理hive维护的元数据 Hive:用来通过HQL的执行,转化为MapReduce程序的执行,从而对HDFS集群中的数据文件进行统计。
2. 图
Hive的安装
# 步骤 1. HDFS(Hadoop2.9.2) 2. Yarn(Hadoop2.9.2) 3. MySQL(5.6) 4. Hive(1.2.1)
虚拟机内存设置为1G
1. 安装mysql数据库
参考MySQL安装文档
2. 安装Hadoop
# 配置hdfs和yarn的配置信息 [root@hive40 ~]# jps 1651 NameNode 2356 NodeManager 2533 Jps 1815 DataNode 2027 SecondaryNameNode 2237 ResourceManager
3. 安装hive
1 上传hive安装包到linux中
2 解压缩hive
[root@hadoop ~]# tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/installs [root@hadoop ~]# mv apache-hive-1.2.1-bin hive1.2.1
3 配置环境变量
export HIVE_HOME=/opt/installs/hive1.2.1 export PATH=$PATH:$HIVE_HOME/bin
4 加载系统配置生效
[root@hadoop ~]# source /etc/profile
5 配置hive
hive-env.sh
拷贝一个hive-env.sh:[root@hadoop10 conf]# cp hive-env.sh.template hive-env.sh
# 配置hadoop目录 HADOOP_HOME=/opt/installs/hadoop2.9.2/ # 指定hive的配置文件目录 export HIVE_CONF_DIR=/opt/installs/hive1.2.1/conf/
hive-site.xml
拷贝得到hive-site.xml:[root@hadoop10 conf]# cp hive-default.xml.template hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!--hive的元数据保存在mysql中,需要连接mysql,这里配置访问mysql的信息--> <!--url:这里必须用ip--> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.199.40:3306/hive</value> </property> <!--drivername--> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <!--username--> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <!--password--> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>admins</value> </property> </configuration>
登录mysql创建hive数据库(使用命令行创建)
create database hive
复制mysql驱动jar到hive的lib目录中
4 启动
1. 启动 hadoop
启动hadoop
# 启动HDFS start-dfs.sh # 启动yarn start-yarn.sh
-
2. 本地启动hive
-
初始化元数据:schematool -dbType mysql -initSchema
初始化mysql的hivedatabase中的信息。
3. 启动Hive的两种方式
# 本地模式启动 # 启动hive服务器,同时进入hive的客户端。只能通过本地方式访问。 [root@hadoop10 ~]# hive
# 服务器模式启动 # 之启动hive的服务器,可以允许远程连接方式访问。 # 前台启动 hiveserver2 # 后台启动 hiveserver2 &
启动本地hive并进入客户端模式(管理员模式)
[root@hadoop40 installs]# hive Logging initialized using configuration in jar:file:/opt/installs/hive1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties hive>
# 1. 客户端操作之dfs命令
1. 查看dfs中的文件。 dfs -ls /; 2. 查看dfs中 /user 下的文件 dfs -ls /user; 3. 以递归的方式,查看/user下的所有文件 dfs -lsr /user;
# 2.客户端操作之HQL(Hive Query language)
# 1.查看数据库 hive> show databases; # 2. 创建一个数据库 hive> create database baizhi; # 3. 查看database hive> show databases; # 4. 切换进入数据库 hive> use baizhi; # 5.查看所有表 hive> show tables; # 6.创建一个表 hive> create table t_user(id string,name string,age int); # 7. 添加一条数据(转化为MR执行--不让用,仅供测试) hive> insert into t_user values('1001','yangdd'); # 8.查看表结构 hive> desc t_user; # 9.查看表的schema描述信息。(表元数据,描述信息) hive> show create table t_user; # 明确看到,该表的数据存放在hdfs中。 # 10 .查看数据库结构 hive> desc database baizhi; # 11.查看当前库` hive> select current_database(); # 12 其他sql select * from t_user; select count(*) from t_user; (Hive会启动MapReduce) select * from t_user order by id;
3.hive的客户端和服务端
# 启动hive服务端 // 前台启动 [root@hadoop40 ~]# hiveserver2 // 后台启动 [root@hadoop40 ~]# hiveserver2 &
beeline客户端
# 启动客户端 [root@hadoop40 ~]# beeline beeline> !connect jdbc:hive2://hadoop40:10000 回车输入mysql用户名 回车输入mysql密码
JDBC
# 导入依赖
<dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>1.2.1</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.9.2</version> </dependency>
# JDBC操作Hive
public static void main(String[] args) throws Exception { BasicConfigurator.configure();//开启日志 //加载hive驱动 Class.forName("org.apache.hive.jdbc.HiveDriver"); //连接hive数据库 Connection conn = DriverManager.getConnection("jdbc:hive2://192.168.199.40:10000/baizhi","root","admins"); String sql = "select * from t_user1"; PreparedStatement pstm = conn.prepareStatement(sql); ResultSet rs = pstm.executeQuery(); while(rs.next()){ String id = rs.getString("id"); String name = rs.getString("name"); int age = rs.getInt("age"); System.out.println(id+":"+name+":"+age); } rs.close(); pstm.close(); conn.close(); }
4. 数据类型
数据类型(
primitive
,array
,map
,struct
)
-
-
primitive(原始类型):
hive数据类型 字节 备注 TINYINT 1 java-byte 整型 SMALLINT 2 java-short 整型 INT 4 java-int 整型 BIGINT 8 java-long 整型 BOOLEAN 布尔 FLOAT 4 浮点型 DOUBLE 8 浮点型 STRING 字符串 无限制 VARCHAR 字符串 varchar(20) 最长20 CHAR 字符串 char(20) 定长20 BINARY 二进制类型 TIMESTAMP 时间戳类型 DATE 日期类型 -
array(数组类型):
# 建表 create table t_tab( score array<float>, 字段名 array<泛型> );
-
map(key-value类型):MAP <primitive_type, data_type>
# 建表 create table t_tab( score map<string,float> );
-
struct(结构体类型):STRUCT <col_name:data_type, ...>
# 建表 create table t_tab( info struct<name:string,age:int,sex:char(1)>, 列名 struct<属性名:类型,属性名:类型> );,
-
根据以上类型构建一个表结构
create table t_person( id int , name string, salary double, birthDay date, sex char(1), hobbies array<string>, cards map<string,string>, addr struct<zipCode:string,city:string> );
注意 hive在建表时没有约束条件
# 1.查看上述表结构
desc t_person;
# 2.查看表结构的详细信息
show create table t_person;
# 3.查看表结构的更加详细信息
desc formatted t_perso