BigData - Hive
Hive相关
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
UDF & UDAF & UDTF区别
UDF:用户自定义函数 → 1对1 UDAF:用户自定义聚合函数 → 1对多 UDTF: 用户自定义生成函数 → 多对1原创 2020-01-09 21:02:43 · 187 阅读 · 0 评论 -
3.1 Hive简介&原理架构
数据库 DDL DQL DML DCL (sql语言) DDL – 数据定义语言 Create DQL – 数据查询语言 Select DML – 数据操纵语言 Insert Delete Update DCL – 数据控制语言 权限 事务 CRUD – (create read update delete) crud是指在做计算处理时的增加(Create)、读取(Read)、更新(Upd...原创 2019-12-02 19:05:52 · 168 阅读 · 0 评论 -
3.2 Hive数据类型 DML&DDL
Hive数据类型 Hive – DDL(数据定义语言) 0. Linux命令 ! - Linux命令 前面加 ! → 视为使用Linux命令 → 清屏 1. database - 数据库 1.1 创建数据库 - create database 库名; --语法: CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMME...原创 2019-12-03 18:54:20 · 182 阅读 · 0 评论 -
3.3 Hive环境搭建
配置多用户模式hive 将tar包移动到Linux中 解压hive的tar包 tar -zxvf apache-hive-1.2.1-bin.tar.gz 将解压后的目录移动到软件安装目录 mv apache-hive-1.2.1-bin /opt/xxx 修改hive目录名称 为了以后使用方便修改下目录名称 拷贝配置文件 进...原创 2019-12-01 21:52:57 · 129 阅读 · 0 评论 -
3.4 Hive函数
Hive函数 1.内置运算符 1.1关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败,因为无效的语法。 SQL使用”=”,不使用”==”。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”,结果返回”NULL”。 A <...原创 2019-12-16 10:38:50 · 133 阅读 · 0 评论 -
3.5 Hive 分区&分桶
Hive 分区 – 分区表 分区原因: 当我们load数据到表中的时候,会将数据存放到表对应的文件夹中 但是随着时间的增长,表中的数据也会越来越多 每次查询都会做全遍历的话,那么查询的时间也会越来越长 我们可以根据常用属性建立子文件夹,将对应的数据存放到里面去 这样我们查询数据直接去子文件夹中查询即可 一. ★ Hive的分区 partition 1. 创建分区 (分区层次) 1.1 ...原创 2019-12-03 00:09:51 · 154 阅读 · 0 评论 -
3.6 Hive优化
Hive 优化 好多优化要基于底层 Hadoop—JVM 把HiveSQL 当做Mapreduce程序去优化 Fetch hive-default.xml.template hive.fetch.task.conversion → 默认more 如果 none那么每次执行select * from 都是执行MapReduce 本地模式 hive.exec.mode.local.auto...原创 2019-12-04 10:03:41 · 125 阅读 · 0 评论 -
Hive文件存储格式有哪些
Hive文件存储格式有哪些? 1.TextFile 文本格式 2.RCFile 一种列存储格式 3.ORC ★ 一种列存储格式 进阶版RCFile 4.Parquet ★ 一种列存储格式 5.AVRO 6.JsonFile json文件 7.InputFormat ...原创 2019-12-30 20:14:14 · 280 阅读 · 0 评论