HIVE
文章平均质量分 92
hive学习笔记
杨林伟
像火箭科学家一样思考!
展开
-
Hive教程(09)- 彻底解决小文件的问题
文章目录01 引言02 小文件概述2.1 小文件的缘由2.1 小文件的危害03 小文件解决方案3.1 方式一:处理已有的小文件3.1.1 distribute by 命令3.1.2 concatenate 命令3.1.3 定时方案3.1.3.1 Linux crontab 控制3.1.3.2 Java代码控制(推荐)3.2 方式二:预防小文件3.3 方式三:使用HAR归档文件04 案例讲解4.1 模拟插入大量小文件4.2 使用distribute by 命令控制01 引言在前面的教程,我们知道了HDFS原创 2022-02-25 14:15:27 · 3420 阅读 · 0 评论 -
Hive教程(08)- JDBC操作Hive
文章目录01 引言02 开发前准备2.1 步骤1:环境启动2.2 步骤2:创建数据库03 项目搭建3.1 步骤1:新建maven项目3.2 步骤2:创建hive连接工具类04 Hive单元测试4.1 创建表4.2 导入数据4.3 查看数据05 文末01 引言本文的代码已上传至GitHub,有兴趣的同学可以参阅:https://github.com/ylw-github/java-hive-demo在前面的教程,已经初步入门hive了,有兴趣的同学可以参阅:《Hive教程(01)- 初识Hiv原创 2022-02-23 10:33:18 · 2377 阅读 · 0 评论 -
Hive教程(07)- Hive自定义用户名密码验证(已开源)
文章目录01 引言02 打包鉴权jar2.1 步骤1:新建项目2.2 步骤2:编写鉴权代码2.2 步骤3:打包03 配置鉴权3.1 步骤一:上传jar包3.2 步骤二:配置hite-site.xml3.3 步骤三:配置user.password.conf3.4 步骤四:配置hadoop core-site.xml文件04 启动验证4.1 步骤一:重启hadoop4.2 步骤二:重启hiveserver24.3 步骤三:检查hiveserver2是否启动成功4.4 步骤四:使用beeline连接验证05 文末原创 2022-02-22 19:09:24 · 3613 阅读 · 2 评论 -
Hive教程(06)- Hive SerDe序列化与反序列化
文章目录01 引言02 SerDe2.1 概念2.2 分类2.2.1 内置 SerDe 类型2.2.1.1 MetadataTypedColumnsetSerDe2.2.1.2 LazySimpleSerDe2.2.1.3 Thrift SerDe2.2.1.4 动态 SerDe2.2.2 自定义 SerDe 类型2.2.2.1 步骤一:自定义SerDe 2.2.2.2 步骤二:hive添加Serde2.2.2.3 步骤三:使用Serde03 文末01 引言在前面的教程,已经初步了解了Hive的数据模型原创 2022-02-22 11:17:25 · 1786 阅读 · 0 评论 -
Hive教程(05)- Hive命令汇总
文章目录01 引言02 命令汇总2.1 基础命令2.1.1 启动2.1.2 退出2.1.3 数据导入导出2.1.3.1 数据导入2.1.3.2 数据导出2.1.4 HSql文件执行2.1.4.1 控制台执行2.1.4.2 hive shell 执行2.1.4.3 一次使用命令2.1.5 配合nohup使用2.2 DDL命令2.2.1 数据库2.2.1.1 创建数据库2.2.1.2 删除数据库2.2.1.3 修改数据库2.2.1.4 查看数据库2.2.1.5 使用数据库2.2.2 表2.2.2.原创 2022-02-21 18:33:46 · 5062 阅读 · 0 评论 -
Hive教程(04)- Hive数据类型
文章目录01 引言02 hive数据类型2.1 基础类型2.1.1 整型2.1.2 浮点型2.1.3 文本型2.1.4 布尔及二进制2.1.5 时间类型2.2 复杂类型2.2.1 STRUCT2.2.2 ARRAY2.2.3 MAP2.2.4 UNION2.3 类型转换2.3.1 隐式转换2.3.1 显式转换03 文末01 引言在前面的教程,已经初步了解了Hive的数据模型,有兴趣的同学可以参阅:《Hive教程(01)- 初识Hive》《Hive教程(02)- Hive安装》《Hive教程(03原创 2022-02-21 17:46:15 · 1657 阅读 · 0 评论 -
Hive教程(03)- Hive数据模型
文章目录01 引言02 hive数据模型2.1 DataBase数据库2.2 Table表2.2.1 内部表2.2.2 外部表2.3 Partition分区2.3.1 Partition分区例子2.4 Bucket桶2.5 分区与分桶的区别03 文末01 引言在前面的教程,已经把Hive环境搭建起来了,有兴趣的同学可以参阅:《Hive教程(01)- 初识Hive》《Hive教程(02)- Hive安装》既然有了hive的环境,此时大家肯定十分迫切的想把hive用起来,但是用之前,我们是很有必要原创 2022-02-21 16:57:53 · 3896 阅读 · 1 评论 -
Hive教程(02)- Hive安装
文章目录01 引言02 Hive环境依赖关系03 Hive安装与配置04 验证Hive05 文末01 引言在前面的教程,我们对hive有一个简单的认识了,有兴趣的同学可以参阅:《Hive教程(01)- 初识Hive》工欲善其事必先利其器,如果要学习hive,必须先搭建好它的环境,本文来讲解下。02 Hive环境依赖关系首先贴上一节关于hive的架构图:可以看到hive的环境并不是单独隔离的,依赖的有两个,分别为:关系型数据库存储元数据(Meta Store),可以简单的认为这里需要安原创 2022-02-21 15:36:41 · 1740 阅读 · 0 评论 -
Hive教程(01)- 初识Hive
文章目录01 引言02 Hive概述2.1 Hive定义2.2 Hive与传统关系型数据库的区别03 Hive架构3.1 Client用户接口3.2 Driver驱动3.3 MapReduce分析计算3.6 Metastore元数据库3.5 HDFS/HBase存储04 Hive 工作原理05 文末01 引言由于接下来需要用到Hive的技术,从本篇开始,有关Hive的学习笔记都会记录到《Hive》专栏。接下来,开始我们愉快的Hive学习之旅!02 Hive概述2.1 Hive定义何为Hive?在原创 2022-02-18 17:07:14 · 1084 阅读 · 0 评论