![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
脑阔疼啊脑阔疼
这个作者很懒,什么都没留下…
展开
-
Hive学习-基础知识
第1章 基础知识1.1 Hadoop 和 MapReduce 综述MapReduce 来自于两个基本的数据转换操作:map过程和reduce过程。一个map操作会将集合中的元素从行索引的形式转换成kv对。输入的键是行索引,输出的键是字段名。在MapReduce计算框架中,某个键的所有键-值对都会分发到同一个reduce操作中。也就是这个键和这个键所对应的所有值都会传递给同一个Reducer。...原创 2019-01-25 18:38:48 · 111 阅读 · 0 评论 -
Hive学习—数据类型和文件格式
第3章 数据类型和文件格式Hive 所支持的基本数据类型。基本数据类型数据类型长度例子TINYINT1byte20SMALINT2byte20INT4byte20BIGINT8byte20BOOLEANtrue 或者 falseTRUEFLOAT单精度浮点数3.14159DOUBLE双精度浮点数3.141...原创 2019-01-26 22:03:44 · 144 阅读 · 0 评论 -
Hive学习—HiveQL:数据定义
第4章 HiveQL:数据定义HiveQL可能和MySQL语句接近,但是两者还是存在显著差异。Hive不支持行级插入操作、更新操作和删除操作。Hive也不支持事务。4.1 Hive 中的数据库--创建数据库CREATE DATABASE financials--查看Hive中包含的数据库SHOW DATABASES--使用正则匹配筛选出需要的数据库SHOW DATABASES LI...原创 2019-01-27 00:39:02 · 226 阅读 · 0 评论 -
Hive学习—数据操作
第5章 HiveQL:数据操作第4章主要介绍如何创建表,随之而来的下个问题即,如何装载数据到这些表中。本章主要讨论Hive查询语言中,向表中装载数据和从表中抽取数据到文件系统的数据操作语言部分。5.1 向管理表中装载数据既然H没有行级别的数据插入、数据更新和删除操作,那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作。LOAD DATA LOCAL…拷贝本地数据到位于分布式文...原创 2019-01-27 10:52:34 · 175 阅读 · 0 评论 -
Hive学习—HiveQL:查询
第6章 HiveQL:查询6.1 SELECT…FROM语句选择的列是集合数据类型时,Hive会使用Json语法应用于输出。--数组类型hive->SELECT name,subordinates FROM employees;John Doe {"Mary Smith","Todd Jones"}--MAP类原创 2019-02-05 11:08:50 · 985 阅读 · 0 评论 -
Hive学习—hive函数学习
hive函数学习一、关系运算:=、<>、<、>、<=、>=、IS NULL、IS NOT NULL、LIKE、RLIKE、REGEXP其中:RLIKE语法: A RLIKE B操作类型: strings描述: 如果字符串A或者字符串B为NULL,则返回NULL;如果字符串A符合JAVA正则表达式B的正则语法,则为TRUE;否则为FALSE。举例:...原创 2019-02-05 15:57:50 · 269 阅读 · 0 评论 -
Hive学习—HiveQL:视图 & 索引 & 模式设计
第7章 HiveQL:视图** 7.1 使用视图来降低查询复杂度**** 7.2 使用视图来限制基于条件过滤的数据**** 7.3 动态分区中的视图和map类型**第8章 HiveQL:索引第9章 模式设计** 9.1 按天划分的表**** 9.2 关于分区**HDFS用于设计数百万的大文件,而非数十亿的小文件。使用过多的分区可能导致的问题是会创建大量的非必须的Hadoop文件和文...原创 2019-02-05 22:45:43 · 167 阅读 · 0 评论 -
Hive学习—调优&其他文件格式和压缩方法&开发&函数
第10章 调优HiveQL是一种声明式语言,用户会提交声明式的查询,而Hive会将其转换成MapReduce job。**10.1 使用EXPLAN **10.2 EXPLAN EXTENDED10.3 限制调整10.4 JOIN优化将最大的表放置在JOIN语句的最右边。如果所有表中有一个表足够小,是可以完成载入到内存中,那么Hive可以执行一个map-side JOIN,这样可以减...原创 2019-02-06 21:21:21 · 257 阅读 · 1 评论