Lansonli（蓝深李）的博客

Hive是基于Hadoop的⼀个数据仓库⼯具，可以将结构化的数据⽂件映射为⼀张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。null在hive底层默认是⽤"\N"来存储的，所以在sqoop到mysql之前需要将为null的数据加工成其他字符，否则sqoop提示错误。对数据的细化，取模分开存储数据，提高查询效率。

表。存的是和hdfs的映射关系，hive是逻辑上的数据仓库，实际操作的都是hdfs上的⽂ 件，HQL就是⽤sql语法来写的mr程序。hive是数据仓库，不能和数据库⼀样进⾏实时的CURD操作。是⼀次写⼊多次读取的操作，可以看成是ETL工具。将小表存⼊内存中，将⼩表复制多份，让每个map task内存中保留⼀份(⽐如存放到hash table中)，这样只需要扫描⼤表。对于⼤表中的每⼀条记录key/value，在hash table中查找是否有相同的key，如果有，则连接后输出即可。

全网最详细的大数据Hive文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章前言Hive综合案例一、需求描述二、项目表的字段三、进行数据的清洗工作​​​​​​​四、准备工作1、创建 hive 表2、导入ETL后的数据3、向ORC表插入数据​​​​​​​五、业务分析1、统计视频观看数 top102、统计视频类别热度Top103、 统计出视频观看数最高的20个视频的所属类别以及...

大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务时消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。用户可以通过设置hive.exec.mode.local.auto的值为true，来让Hive在适当的时候自动启动这个优化。

文章目录Hive的数据存储格式一、列式存储和行式存储二、主流文件存储格式对比实验1、TextFile2、ORC3、Parquet三、存储和压缩结合1、创建一个非压缩的的ORC存储方式2、创建一个SNAPPY压缩的ORC存储方式3、上一节中默认创建的ORC存储方式，导入数据后的大小为4、存储方式和压缩总结：Hive支持的存储数的格式主要有：TEXTFILE（行式存储） 、SEQUENCEFILE(行式存储)、ORC（列式存储）、PARQUET（列式存储）。行存储的特点： 查询满足条件的一整行数据的时候，列存储

全网最详细的大数据Hive文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章前言Hive的数据压缩一、MR支持的压缩编码二、压缩配置参数三、开启Map输出阶段压缩1、开启hive中间传输数据压缩功能2、开启mapreduce中map输出压缩功能3、设置mapreduce中map输出数据的压缩方式4、执行查询语句四、开启Reduce输出阶段压缩1、开启hive最终输出数据压缩功能2、开启..

Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。

全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。目录系列历史文章前言Hive的开窗函数一、窗口函数 ROW_NUMBER,RANK,DENSE_RANK1、数据准备​​​​​​​2、ROW_NUMBER​​​​​​​3、RANK 和 DENSE_RANK​​​​​​​二、Hive分析窗口函数 SUM,AVG,MIN,MAX​​​​​​​1、数据准备​​​​​​​2、SUM（结果和ORDER BY相关.

解释：用于和split, explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。explode(MAP) map中每个key-value对，生成一行，key为一列，value为一列。explode(col)：将hive一列中复杂的array或者map结构拆分成多行。reflect函数可以支持在sql中调用java中的自带函数。explode(ARRAY) 数组的每个元素生成一行。

Hive函数Hive的函数分为三类： 聚合函数、内置函数，表生成函数，聚合函数之前已经学习过了，接下来学习内置函数和表生成函数.Hive的内置函数一、数学函数1、 取整函数: round语法:round(double a)返回值: BIGINT说明:返回double类型的整数值部分（遵循四舍五入）举例：hive>select round(3.1415926);32、指定精度取整函数: round语法:round(...

全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。目录系列历史文章前言hive查询语法一、SELECT语句1、语句结构2、全表查询3、选择特定列查询4、列别名5、常用函数​​​​​​​6、LIMIT语句​​​​​​​7、WHERE语句二、运算符​​​​​​​1、比较运算符​​​​​​​2、逻辑运算符三、分组1、GROUP BY语句​​​​​​​2、HAVING语句​​​.

全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。目录系列历史文章前言Hive数据库和表操作一、数据库操作1、创建数据库2、创建数据库并指定hdfs存储位置3、查看数据库详细信息4、删除数据库二、数据库表操作1、创建数据库表语法2、Hive建表时候的字段类型3、内部表操作4、外部表操作5、复杂类型操作6、分区表​​​​​​​7、分桶表8、修改表9、hive表中加载数据.

全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。目录历史文章前言Hive的三种安装模式和MySQL搭配使用一、Hive的安装方式1、内嵌模式2、本地模式3、远程模式二、Hive的安装1、准备工作2、安装mysql数据库3、安装Hive三、Hive的交互方式第一种交互方式：bin/hive第二种交互方式：使用sql语句或者sql脚本进行交互第三种交互方式：Beeline Clien.

全网最详细的Hive文章系列，强烈建议收藏加关注！后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。目录历史文章前言Hive基本概念一、Hive介绍1、什么是Hive​​​​​​​2、为什么使用Hive​​​​​​​3、Hive的特点二、Hive架构1、架构图​​​​​​​2、基本组成​​​​​​​3、Hive与传统数据库对比历史文章深夜凌晨女朋友问什么是数据仓库，我的回答让她惊讶，然后发现。。。百度、阿里、腾讯平台架构都熟悉，小米大.

全网最详细的大数据Hive文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章前言HiveSQL十题第一题1、需求2、数据准备3、查询SQL4、执行结果第二题1、需求2、数据准备3、查询SQL实现4、执行结果第三题1、需求2、数据准备3、查询SQL4、执行结果第四题1、需求2、数据准备3、查询SQL4、执行结果第五题1、需求2、数据准备...