Hive
时间的美景
一万年太久,只争朝夕
展开
-
【Hive】hive 数据倾斜、优化策略、hive执行过程、垃圾回收
文章目录原创 2020-01-15 08:42:06 · 899 阅读 · 0 评论 -
【Hive】hive shell
文章目录原创 2020-01-14 15:37:31 · 184 阅读 · 0 评论 -
【Hive】hive影评案例
文章目录数据描述数据要求题目1. 正确建表,导入数据(三张表,三份数据),并验证是否正确2. 求被评分次数最多的10部电影,并给出评分次数(电影名,评分次数)3. 分别求男性,女性当中评分最高的10部电影(性别,电影名,影评分)4. 求movieid = 2116这部电影各年龄段(因为年龄就只有7个,就按这个7个分就好了)的平均影评(年龄段,影评分)5. 求最喜欢看电影(影评次数最多)的那位女性评...原创 2020-01-15 16:52:43 · 2876 阅读 · 0 评论 -
【Hive】hive 微博案例
文章目录数据准备及描述数据描述数据样例字段描述数据存储准备开始功能需求1. 数据处理:针对数据问题,请给出对应的解决方案(15分)2. 组织数据(10分)3. 统计微博总量 和 独立用户数(7分)4. 统计用户所有微博被转发的次数之和,输出top5用户,并给出次数(7分)5. 统计带图片的微博数(7分)6. 统计使用iphone发微博的独立用户数(7分)7. 将微博的点赞人数和转发人数相加求和,并...原创 2020-01-11 22:09:07 · 1277 阅读 · 1 评论 -
【Hive】hive窗口函数/分析函数 over子句
文章目录over子句介绍1. 什么是over子句2. over子句的开窗范围3. window clause4. over子句默认值4.1 order by4.2 partition by4.3 partition by + order by几个常用开窗函数案例引出row_numberrankdense_rank案例答案over子句介绍over子句参考链接 https://blog.csdn....原创 2020-01-05 21:02:33 · 1153 阅读 · 0 评论 -
【Hive】hive特殊分隔符处理
文章目录HIVE 特殊分隔符处理1. 使用 RegexSerDe 通过正则表达式来抽取字段2. 通过自定义 InputFormat 解决特殊分隔符问题HIVE 特殊分隔符处理补充:hive 读取数据的机制:首先用 InputFormat<默认是:org.apache.hadoop.mapred.TextInputFormat >的一个具体实现类读入文件数据,返回一条一条的记录...原创 2020-01-05 17:09:44 · 1330 阅读 · 2 评论 -
【Hive】hive函数
文章目录hive函数hive内置函数1. 查看内置函数2. 测试内置函数快捷方式3. 内置函数列表3.1 关系运算:3.2 数学运算:3.3 逻辑运算:3.4 复合类型构造函数3.5 复合类型操作符3.6 数值计算函数3.7 集合操作函数3.8 类型转换函数3.9 日期函数3.10 条件函数3.11 字符串函数3.12 混合函数3.13 XPath 解析 XML 函数3.14 汇总统计函数(UDA...原创 2020-01-05 16:46:44 · 607 阅读 · 0 评论 -
【Hive】hive数据类型
文章目录hive数据类型原子数据类型(9种)复杂数据类型1. array2. map3. struct4. uniontypehive数据类型原子数据类型(9种)Hive 支持日期类型(老版本不支持),在 Hive 里日期一般都是用字符串来表示的,而常用的日期格式转化操作则是通过自定义函数进行操作,当然也可以直接指定为日期类型Hive 是用 Java 开发的,Hive 里的基本数据类...原创 2020-01-04 21:15:15 · 685 阅读 · 0 评论 -
【Hive】hive 视图特点及使用
文章目录hive 视图特点创建视图查看视图删除视图使用视图hive 视图特点和关系型数据库一样,Hive 也提供了视图的功能,不过请注意,Hive 的视图和关系型数据库的数据还是有很大的区别:只有逻辑视图,没有物化视图;视图只能查询,不能 Load/Insert/Update/Delete 数据;hive的视图仅仅相当于一个sql的快捷方式,为了提升hql语句的可读性视图在创建时候...原创 2020-01-04 18:10:24 · 3966 阅读 · 0 评论 -
【Hive】hive基本操作 ddl dml
文章目录1. ddl 操作1.1库操作1.1.1 创建库1.1.2 查看库1.1.3 切换库1.1.4 删除库1.2 表操作1.3 其它辅助操作dml 操作注意:hive 不区分大小写1. ddl 操作1.1库操作1.1.1 创建库语法: CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_...原创 2020-01-03 21:37:18 · 678 阅读 · 0 评论 -
【Hive】hive元数据库中的几张核心表
hive元数据库中的几张核心表在hive-site.xml配置了mysql连接信息,元数据库为hivedb<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNo...原创 2020-01-04 17:30:12 · 541 阅读 · 0 评论 -
【Hive】Hive 2.3.2 安装
文章目录1. 内嵌 Derby 版本1.1 下载安装包1.2 解压安装包1.3 配置环境变量1.4 初始化元数据1.5 启动hive,进入hive客户端1.6 derby方式缺点2. 外置 MySQL 版本1. 内嵌 Derby 版本2.1 下载安装包2.2 解压安装包2.3 配置环境变量2.4 安装mysql数据库2.5 修改配置文件3. Linux RPM 方式安装 MySQL3.1 检查以前...原创 2019-12-31 15:27:41 · 380 阅读 · 0 评论 -
【Hive】Hive基础知识
文章目录1. hive产生背景2. hive是什么3. hive的特点3.1优点:3.2 缺点:4. Hive 和 RDBMS 的对比5. hive架构5.1 用户接口层5.2 Thrift Server层5.3 元数据库层5.4 Driver核心驱动层6. hive的数据存储1. hive产生背景先分析mapreduce:mapreduce主要用于数据清洗或统计分析工作并且绝大多数的场景...原创 2019-12-29 11:12:30 · 248 阅读 · 0 评论