![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
文章平均质量分 73
夏至1208
这个作者很懒,什么都没留下…
展开
-
Hive DDL DML基础
1、Database 表空间 是HDFS的一个文件夹,列出hive中的表空间语句为:show databases hive默认有一个default表空间。 默认的数据库存储位置为:/user/hive/warehouse 位置设置参数为:hive.metastore.warehouse.dir2、DDL : Data Definition Language ...原创 2018-10-23 17:26:47 · 177 阅读 · 0 评论 -
Hive统计TopN问题
这里模拟一个统计每个区域最受关注的top3的产品业务需求,并模拟生成3张表,分别为城市表city_info,产品表product_info,用户点击行为表user_click。所用的工具有HDFS,HIVE,SQOOP,MYSQL。原创 2018-10-29 17:23:58 · 2882 阅读 · 0 评论 -
Hive wordcount
如何使用hive进行wordcount统计如下图,我们先在hive中建一张名为wc的表,里面只有一个字段,包含以逗号隔开的数据然后使用函数split , explode,count,group by进行统计1、 先使用split将每行数据切开,这里是用逗号分隔select split(tence,',') from wc;2、再用explode函数将每个数据处理成一行,即每行只有一条...原创 2018-10-24 14:34:40 · 407 阅读 · 0 评论 -
Hive 函数
1、查询hive中的函数,使用show functions;即可看见可用的所有函数。如下图(列出部分):如果我们想查看某个方法的具体用法,如abs,可以用命令desc function abs;会返回这个函数的用法,当然,还有更详细的命令desc function extended abs;这个命令会列出具体的例子,可以更直观的知道函数的使用方法。...原创 2018-10-24 14:53:14 · 146 阅读 · 0 评论 -
Hive 分区表
1 、什么是分区表一个表按照某个或某些字段进行分区的表2、为什么要用分区表如果一个hive表没有分区,在查询数据的时候,会进行全表扫描的动作,非常的耗费资源和时间。使用分区表可以只查询指定分区下的数据,大大减少了查询的时间。3、建分区表create table order( order_num string, order_time string) partitioned b...原创 2018-10-24 16:44:49 · 268 阅读 · 0 评论 -
hive元数据相关表结构
概述 hive是一个构建在hadoop hdfs之上的一个数据仓库。它能够对大量数据进行读写与管理。hive元数据默认是存在Derby数据库上,但是Derby是一个单session,每次只允许一个客户端连接,所以并不适用于生产。一般大家都把hive元数据存在mysql之上,不仅满足多用户连接,也可以将mysql搭建一主一备的集群,防止单点故障。hive-site.xml配置 下图是将hive...原创 2018-11-22 14:15:49 · 332 阅读 · 0 评论 -
大数据开发--hadoop存储格式
行式存储与列式存储 在介绍hive存储格式之前,我们先来了解一下行式存储与列式存储的区别。1、行式存储优点: 一条数据就是一行,比较符合面向对象的思维,所有信息都放在一起。这种存储格式可以很方便的进行insert/update操作。缺点:a、如果只需要查询几个列的数据,它会读取所有的列的数据,而不能跳过不需要的列。一般在数据量比较大的时候性能影响比较明显。b、由于每一行中有很多不...原创 2018-12-11 15:33:40 · 696 阅读 · 0 评论 -
hive--beeline使用
hive beeline客户端方式采用JDBC方式借助于Hive Thrift服务访问Hive数据仓库。 HiveThrift(HiveServer)是Hive中的组件之一,设计目的是为了实现跨语言轻量级访问Hive数据仓库,有Hiveserver和 Hiveserver2两个版本,两者不兼容,使用中要注意区分。体现在启动HiveServer的参数和jdbc:hiveX的参数上。启动hi...原创 2018-12-11 16:16:22 · 1318 阅读 · 0 评论 -
Hive自定义函数UDF
一、hive自定义函数有三种,即UDF,UDAF,UDTF。UDF 一进一出 对每一条输入分别处理,有多少输入就有多少输出。UDAF 多进一出 例如sum这种功能的函数,对输入数据有聚合功能。多条数据生成一条数据。UDTF 一进多出 例如将一条数据按照规则切分为多列。一条数据生成多条数据。二、这里介绍下最简单的UDF创建与使用1、maven添加hive依赖 <...原创 2019-01-07 15:16:18 · 229 阅读 · 0 评论