![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
CharonLR
这个作者很懒,什么都没留下…
展开
-
CDH集群hive使用以及性能测试
1.CDH集群里面的Hive角色分配及作用如图所示,Hive主要有三个角色:HiveServer2、Metastore Server、以及代理角色Gateway主要两个服务端守护进程:1、Hiveserver2:支撑JDBC访问,Thrift服务,部署在masternode3节点。2、MetaStore Server:支撑访问元数据库的服务,部署在toolnode1节点。2.Hive内...原创 2019-05-08 16:00:28 · 3014 阅读 · 0 评论 -
Hive经典HQL语句练习(一)
搜集了50个经典SQL语句,以便加强对Hive的理解,包含了基本操作,UDF函数,以及很多常用统计函数,与mySQL写法有一定差别,用来做HQL练习1.数据准备home目录下新建data文件夹存放准备数据mkdir data创建student数据文本vi student.txt添加如下数据:01 赵雷 1990-01-01 男02 钱电 1990-12-21 男03 孙风...原创 2019-05-08 16:01:28 · 2840 阅读 · 1 评论 -
Hive经典HQL语句练习(二)
26、查询每门课程被选修的学生数:select a.c_id,a.c_name,count(b.s_score) num_coursefrom course a join score b on a.c_id = b.c_idgroup by a.c_id,a.c_name27、查询出只有两门课程的全部学生的学号和姓名:select b.s_id,a.s_name,count(b.c...原创 2019-05-08 16:02:14 · 723 阅读 · 0 评论 -
CDH常用优化配置项
搜集了CDH常用的hive配置可进行优化的配置项1.hive.metastore.warehouse.dirHive 仓库目录是在 HDFS 中存储 Hive 表格的位置。注意此仓库目录的 Hive 默认值为“/user/hive/warehouse”。2.hive.warehouse.subdir.inherit.perms让表目录继承仓库或数据库目录的权限,替代使用从 dfs umas...原创 2019-05-13 17:46:27 · 2592 阅读 · 0 评论 -
Hive动态分区表的学习测试与总结
数据准备因为创建可以分区的数据表结构很繁琐,所以我直接使用了CDH hue自带的hive测试数据customers表创建步骤,进入hue web 页面,在导航栏提示第二步的时候,创建hive 应用示例,几个经典hive结构表就创建好了查看示例表,发现customers表结构很适合作为分区表,里面的address字段里面的state(州)很适合做分区处理,但是customers并不是分区表,...原创 2019-05-09 16:50:10 · 391 阅读 · 0 评论 -
Hive索引的创建与性能测试
简介Hive支持索引,但是Hive的索引与关系型数据库中的索引并不相同,比如,Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上,以提升一些操作的效率,例如减少MapReduce任务中需要读取的数据块的数量。在可以预见到分区数据非常庞大的情况下,索引常常是优于分区的。需要时刻记住的是,Hive并不像事物数据库那样针对个别的行来执行查询、更新、删除等操作。这些操作依赖高效的索引...原创 2019-05-10 17:27:09 · 746 阅读 · 0 评论 -
CDH Hive集成Hbase
1.背景Hive是建立在Hadoop之上的数据仓库基础构架、是为了减少MapReduce编写工作的批处理系统,Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce。Hive可以理解为一个客户端工具,将我们的sql操作转换为相应的MapReduce jobs,然后在Hadoop上面运行。HBase全称为Hadoop Database,即HBase是Hadoop的数据库,是一个...原创 2019-05-16 11:57:18 · 763 阅读 · 0 评论