Hive
文章平均质量分 95
Hive技术分享
疯狂呼呼呼
小鸟也有梦想
展开
-
Hive的产生背景 & 概述 & 发展历程 & 架构 & 部署及简单入门
Hive入门文章,将从Hive的产生背景、概述、发展历程、架构、与RDBMS的对比、部署及操作简单入门讲起。原创 2017-10-06 00:11:25 · 6059 阅读 · 1 评论 -
Hive DDL & 内部表与外部表
Database DDL操作DDLData Definition Language(即数据的定义语言)create/delete/alter等操作,与关系型数据库中的DDL非常类似,几乎是一样的 官网:https://cwiki.apache.org/confluence/display/Hive/HomeDDL:https://cwiki.apache.o...原创 2017-10-06 02:23:03 · 1014 阅读 · 0 评论 -
Hive DML
Hive DML介绍,包括了对如何加载数据到Hive表,导出Hive表数据到文件系,常用查询操作,export&import操作 进行了介绍与实际操作原创 2017-10-12 15:33:52 · 704 阅读 · 0 评论 -
将自定义函数集成到Hive的源码
Hive中自定义函数开发,及注册到源码中去原创 2017-10-08 01:27:51 · 684 阅读 · 0 评论 -
Hive中元数据表的关系和含义
Hive版本的元数据表version表 字段 含义 VER_ID id主键 SCHEMA_VERSION Hive 版本 VERSION_COMMENT 版本说明Hive数据库相关元数据表DBS表 字段 含义 DB_ID 数据库ID DESC 数据库描述 DB_LOCATION...原创 2018-05-05 00:42:30 · 4694 阅读 · 0 评论 -
Hive中Join的使用入门 & Common Join与Map Join原理深度剖析
Hive中Join的使用入门与实际操作;Common Join与Map Join的原理剖析原创 2017-10-14 00:29:49 · 2541 阅读 · 0 评论 -
内置函数 & UDF函数在Hive中的使用
在本篇博文中,将对Hive中的内置函数和UDF函数的使用,进行简要介绍,并进行实际操作验证Hive内置函数的使用函数在Hive中使用的常用命令。原创 2017-10-14 19:27:56 · 2112 阅读 · 0 评论 -
Hive中静态分区表 & 动态分区表
Hive静态单级分区表、静态多级分区表的使用,动态分区表的使用、动态分区表与静态分区表的对比介绍;通过实际操作来验证Hive中分区表的如何使用原创 2017-10-15 23:30:47 · 3051 阅读 · 0 评论 -
HiveServer2与beeline的使用 & Hive JDBC编程
HiveServer2&beeline的使用入门;Hive JDBC编程,完成了创建表、删除表、查询、加载数据、展示表描述符等常用操作原创 2017-10-17 23:07:00 · 2050 阅读 · 0 评论 -
Hive进阶(1)—— 压缩
压缩简介 & 为什么使用压缩 & 常用压缩技术压缩简介用户行为数据 GB TB … 越来越大数据量越来越大 ==> 面对问题:如何高效的处理 ==> 优化Hadoop生态系统 :对数据进行压缩处理使得提高我们的数据处理效率如何选择和使用压缩 就是一个至关重要的问题 摆在我们面前压缩工具:winrar、7-zip压缩:使用压缩技术来把数据“减少”的过...原创 2018-09-24 20:11:12 · 1403 阅读 · 0 评论 -
Hive进阶(2)—— 存储格式
存储格式基本概念官网:https://cwiki.apache.org/confluence/display/Hive/FileFormats官网介绍:Hive supports several file formats:* Text File* SequenceFile* RCFile* Avro Files* ORC Files* Parquet* Custom INPU...原创 2018-09-27 22:55:28 · 4002 阅读 · 0 评论 -
HiveServer2的HA理解 & 配置实现
好处 & 工作机制使用HiveServer2的好处: 1. HiveServer2不用直接将HDFS和Metastore暴漏给用户(对比于使用hive-cli方式) 2. 通过HA机制(从Hive 0.14开始引入该机制),解决了负载均衡和并发的问题 3. 可以在Client端通过JDBC的方式,发起操作,与数据进行交互配置HA之前,HiveServer2的工作机制: ...原创 2018-04-02 23:10:22 · 3658 阅读 · 0 评论 -
Hive使用小记
内部表与外部表之间的转换 查阅官网:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 官网关于内部表、外部表转换的解释:TBLPROPERTIES (“EXTERNAL”=”TRUE”) in release 0.6.0+ (HIVE-1329) – Change a managed table to ...原创 2018-05-06 00:43:39 · 370 阅读 · 0 评论 -
Hive使用lateral view和explode处理嵌套json
最近有个需求,需要解析数仓中某张表的某个字段,该字段为Json,且为嵌套的多层Json,Json格式如下:由于是生产环境上的数据,因此对于某些value以xxx进行替代,并不影响sql的编写需求是需要提取出每个这种json中所有的brandName思路1:思路2:思路3:...原创 2019-07-31 19:55:44 · 4083 阅读 · 0 评论