Hive 入门
文章平均质量分 90
海量结构化日志的数据统计工具
菜菜的大数据开发之路
Java技术栈 AND 大数据开发,学习笔记, 拒绝水文
展开
-
Hive 自定义函数编写(UDF,UDAF,UDTF)
虽然hive中为我们提供了很多的内置函数,但是在实际工作中,有些情况下hive提供的内置函数无法满足我们的需求,就需要我们自己来手动编写,所以就有了自定义函数UDF。UDF分为三种,分别如下一进一出(输入一行,输出一行),输入一行数据,输出一行数据;比如upper()、lowser()等。,多进一出(输入多行,输出一行),输入多行数据,聚合成一行数据,比如avg()、sum()等。,一进多出(输入一行,输出多行),比如官方文档https。............原创 2022-07-17 16:43:10 · 1015 阅读 · 0 评论 -
八, Hive基础函数和窗口函数全解析
八, Hive相关的函数8.1 查看内置函数查看系统内置函数(hive> show functions;)显示内置函数用法(hive> desc function xx;)详细显示内置函数用法(hive> desc extended function xx;)8.2 常用系统内置函数1. 空字段赋值(NVL(列名, default_value))[函数说明]NVL: 给某一列值为NULL的数据复制, 如果某一列的数据为NULL, 则赋值为default_value, 不原创 2021-08-10 11:50:09 · 1617 阅读 · 0 评论 -
六七, Hive 数据查询实操, 以及Hive的分区和分桶
六, Hive 查询操作前置操作(准备数据+建表+导入数据)准备数据emp.txt 和 dept.txt建表emp和dept建立emp表, 对照字段[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JanzVMIN-1628242050249)(2021-08-04-20-38-29.png )]create table emp( empno int, ename string, job string, mgr i原创 2021-08-06 17:29:58 · 2309 阅读 · 0 评论 -
五, Hive-数据的导入和导出
五, Hive-数据的导入和导出5.1 数据导入法1, 向表中装载数据(load)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oP6YViMW-1627981666146)(2021-08-03-14-33-12.png)][案例实操]创建表[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W8nNN6Hh-1627981666150)(2021-08-03-14-44-50.png)]加载本地文件到此表中[外链图片转存失败,源原创 2021-08-03 17:08:50 · 281 阅读 · 0 评论 -
三四, Hive数据类型和数据定义语言(DDL)
文章目录三, Hive数据类型和数据定义语言(DDL)1. 基本数据类型2. 集合数据类型2.1 案例实操1. 待创建表的格式2. 在hive中创建表, 并添加字段名和字段类型如下:3. 在文档中按照步骤2中各个字符之间的分隔符规定输入数据, 并上传到HDFS.4. 在Hive中查看这张表:5. 注意: 筛选查询数据的几个方法3. 类型转换四, DDL-数据库定义(会用即可)4.1 数据库管理4.1.0 创建数据库4.1.1 查询数据库4.1.2 查看数据库信息4.1.3 修改数据库4.1.4 删除数据库4原创 2021-08-02 14:56:17 · 706 阅读 · 0 评论 -
一二, Hive 概述,安装及其基本使用
一, Hive概述1. 什么是Hive[概念]Hive: 由FaceBookc开源用于解决海量结构化日志的数据统计工具.Hive是基于Hadoop的一个数据仓库工具, 可以将结构化的数据文件映射为一张表, 并提供类SQL(Hive SQL)查询功能.Hive处理的数据存储在HDFS.Hive的本质是将SQL语句转换为MapReduce任务运行, 使得不熟悉MapReduce的用户也能很方便利用HQL 处理和计算HDFS上的结构化数据,适用于离线的批量数据计算.[本质]Hive 依赖于原创 2021-08-01 19:54:40 · 508 阅读 · 0 评论