BigData - Hive
Hive相关
BF-LoneSilverWind
睿智 灵动 从容 淡定
展开
-
UDF & UDAF & UDTF区别
UDF:用户自定义函数 → 1对1UDAF:用户自定义聚合函数 → 1对多UDTF: 用户自定义生成函数 → 多对1原创 2020-01-09 21:02:43 · 168 阅读 · 0 评论 -
3.1 Hive简介&原理架构
数据库DDL DQL DML DCL (sql语言)DDL – 数据定义语言 CreateDQL – 数据查询语言 SelectDML – 数据操纵语言 Insert Delete UpdateDCL – 数据控制语言 权限 事务CRUD – (create read update delete)crud是指在做计算处理时的增加(Create)、读取(Read)、更新(Upd...原创 2019-12-02 19:05:52 · 153 阅读 · 0 评论 -
3.2 Hive数据类型 DML&DDL
Hive数据类型Hive – DDL(数据定义语言)0. Linux命令! - Linux命令前面加 ! → 视为使用Linux命令→ 清屏1. database - 数据库1.1 创建数据库 - create database 库名;--语法:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMME...原创 2019-12-03 18:54:20 · 170 阅读 · 0 评论 -
3.3 Hive环境搭建
配置多用户模式hive将tar包移动到Linux中解压hive的tar包tar -zxvf apache-hive-1.2.1-bin.tar.gz将解压后的目录移动到软件安装目录mv apache-hive-1.2.1-bin /opt/xxx修改hive目录名称为了以后使用方便修改下目录名称拷贝配置文件 进...原创 2019-12-01 21:52:57 · 120 阅读 · 0 评论 -
3.4 Hive函数
Hive函数1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语法。 SQL使用”=”,不使用”==”。A <> B所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”,结果返回”NULL”。A <...原创 2019-12-16 10:38:50 · 125 阅读 · 0 评论 -
3.5 Hive 分区&分桶
Hive 分区 – 分区表分区原因:当我们load数据到表中的时候,会将数据存放到表对应的文件夹中但是随着时间的增长,表中的数据也会越来越多每次查询都会做全遍历的话,那么查询的时间也会越来越长我们可以根据常用属性建立子文件夹,将对应的数据存放到里面去这样我们查询数据直接去子文件夹中查询即可一. ★ Hive的分区 partition1. 创建分区 (分区层次)1.1 ...原创 2019-12-03 00:09:51 · 137 阅读 · 0 评论 -
3.6 Hive优化
Hive 优化好多优化要基于底层Hadoop—JVM把HiveSQL 当做Mapreduce程序去优化Fetchhive-default.xml.template hive.fetch.task.conversion → 默认more 如果 none那么每次执行select * from 都是执行MapReduce本地模式hive.exec.mode.local.auto...原创 2019-12-04 10:03:41 · 106 阅读 · 0 评论 -
Hive文件存储格式有哪些
Hive文件存储格式有哪些?1.TextFile文本格式2.RCFile一种列存储格式3.ORC ★一种列存储格式 进阶版RCFile4.Parquet ★一种列存储格式5.AVRO6.JsonFilejson文件7.InputFormat...原创 2019-12-30 20:14:14 · 266 阅读 · 0 评论