![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据之HIVE
文章平均质量分 97
hive笔记 总结
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
hive详细笔记之hive注释中文乱码问题
在hive中创建表 , 表中的字段注释是中文注释create external table movie(userID int comment '用户ID',movieID int comment '电影ID',rating int comment '电影评分',timestamped bigint comment '评分时间戳',movieName string comment '电影名字', movieType string comment '电影类型', sex string c..原创 2020-06-24 15:12:13 · 3594 阅读 · 0 评论 -
hive详细笔记(十三)-Hive之JDBC(附带讲解视频 )
使用java语言连接hive服务操作hive中的数据创建maven项目添加依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.8.5</version> </dependency>.原创 2020-06-21 22:24:28 · 2721 阅读 · 0 评论 -
hive详细笔记(十二)-Hive(附带讲解视频 )
1 内置函数1.查看系统自带的函数hive> show functions;2.显示自带的函数的用法hive> desc function upper;3.详细显示自带的函数的用法hive> desc function extended upper;2 自定义函数2.1 基本步骤1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可..原创 2020-06-21 22:19:37 · 4870 阅读 · 0 评论 -
hive详细笔记(十一)-Hive调优(附带讲解视频 )
1,数据的压缩与存储格式hive底层的计算引擎是mapreduce,而mapreduce在运算时,免不了的就是要从hdfs中读取原始文件,然后在内部的map到reduce之间还要shuffle数据到各task所在的本地磁盘,最后的输出又避免不了要往HDFS中输出文件所以,在各个环节中,读写的数据量越小,读写的性能越高,对hive的整体执行效率肯定是有重要作用的,那么,如何降低这些环节上的文件io量以及提高文件io效率呢,一个最主要的办法就是“选择合适的文件格式”+选择合适的压缩编码文件格式与压缩原创 2020-06-21 21:55:26 · 3100 阅读 · 1 评论 -
hive详细笔记(十)-Hive之行号函数详解
....原创 2020-06-21 08:55:48 · 5712 阅读 · 2 评论 -
hive详细笔记(九)-Hive之窗口函数详解(附带讲解视频 )
1 什么是窗口函数原创 2020-06-21 08:54:51 · 3110 阅读 · 5 评论 -
hive详细笔记(八)-Hive之列转行和行转列(附带讲解视频 )
列转行行转列原创 2020-06-21 08:52:42 · 4087 阅读 · 0 评论 -
hive详细笔记(七)-Hive之case when语法详解(附带讲解视频 )
1 基本语法语法一CASE 字段WHEN 值1THEN 值1[WHEN 值2THEN 值2]*[ELSE 值] END 语法二CASE WHEN 条件表达式THEN 值1[WHEN 条件表达式 [and or] 条件表达式THEN 值2]*[ELSE 值] END 2 实例一2.1 数据和需求数据悟空 A 男娜娜 A 男宋宋 B 男凤姐 A 女热巴 B 女慧...原创 2020-06-20 21:57:56 · 17886 阅读 · 0 评论 -
hive详细笔记(六)-Hive之排序详解(附带讲解视频 )
本节目录order by 全局排序 sort by 区内排序 distribute by 指定分区字段 cluster by 分区排序1 order byOrder By:全局排序,一个Reducer1.使用 ORDER BY 子句排序ASC(ascend): 升序(默认)DESC(descend): 降序2.ORDER BY 子句在SELECT语句的结尾3.案例实操(1)查询员工信息按工资升序排列hive (default)> select * f.原创 2020-06-20 21:37:08 · 2386 阅读 · 0 评论 -
hive详细笔记(五)-Hive之集合数据类型(附带讲解视频 )
hive支持集合数据类型 数据类型 描述 语法示例 STRUCT(结构体)对象 和c语言中的struct类似,都可以通过“点”符号访问元素内容。例如,如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。 struct() MAP映射 MAP是一组键-值对元组集合,使.原创 2020-06-20 21:22:13 · 3026 阅读 · 0 评论 -
hive详细笔记(四)-Hive内部表,外部表,分区表,分桶表详解(附带讲解视频)
本节目录 内部表和外部表 静态分区表 动态分区表 分桶表 抽样查询 1 内部表和外部表未被external修饰的是内部表(managed table),被external修饰的为外部表(external table);区别:内部表数据由Hive自身管理,外部表数据由HDFS管理;内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),外部表数据的存储位置由自己制定(.原创 2020-06-20 19:32:22 · 5280 阅读 · 0 评论 -
hive详细笔记(三) hive-DDL 表操作基础篇 (附带视频讲解)
1 数据类型1.1 基本数据类型 Hive数据类型 Java数据类型 长 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int原创 2020-06-20 18:20:31 · 3505 阅读 · 0 评论 -
hive2.3.1 详细笔记(二) hive-DDL 数据库操作(附带视频讲解)
显示系统所有的数据库show databases ;OK+----------------+| database_name |+----------------+| default |+----------------+模糊显示的数据库show databases like "db*" ;创建数据库create database db_doit ;create database if not exists db_doit15 ; -- 避免报错-.原创 2020-06-17 16:13:44 · 3162 阅读 · 0 评论 -
hive2.3.1 详细笔记(一) hive简介 安装 连接详解 (附带视频讲解)
本节内容什么是hive hive的基本执行原理 hive安装启动 hive加载数据1 什么是hive简介 hive是基于Hadoop的一个数据仓库工具,并不是一个数据库,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计..原创 2020-06-17 11:58:02 · 3860 阅读 · 0 评论