Hive2.0函数大全(中文版)(转载)

最新推荐文章于 2021-12-20 23:59:10 发布

weixin_33753003

最新推荐文章于 2021-12-20 23:59:10 发布

阅读量158

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/shaosks/p/9492890.html

版权

　　https://www.cnblogs.com/MOBIN/p/5618747.html

转载于:https://www.cnblogs.com/shaosks/p/9492890.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_33753003

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Hive2.0-内置函数使用手册

Jason的博客

08-29

1391

摘要 Hive内部提供了很多内置函数供开发者使用，包括关系运算函数，数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，下面我们来一起看看。 Hive-2.0常用函数大全一览关系运算函数二级目录二级目录二级目录二级目录二级目录二级目录二级目录关系运算函数 **1、等值比较: = ** 语法： A=B 操作类型：所有基本类型，Synonyms: == 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE hive> select 1=1; true &g.

Hive SQL操作与函数自定义（二）

热门推荐

梓纾的专栏

09-21

1万+

Hive SQl操作简介；关于UDF、UDAF、UDTF的自定义；以及其他一些整理资料（例如自定义函数jar包的放在那里，远程调试等）

参与评论您还未登录，请先登录后发表或查看评论

Hive2.0函数大全(高清中文版)

01-14

Hive2.0函数大全(高清中文版)

Hive官方手册翻译(Getting Started)

weixin_34357887的博客

07-23

616

翻译Hive官方文档系列，文中括号中包含注: 字样的，为我自行标注的，水平有限，翻译不是完美无缺的。如有疑问，请参照Hive官方文档对照查看。内容列表 Cloudera制作的Hive介绍视频安装与配置系统需求安装Hive发行版从Hive源码编译运行Hive 配置管理概览运行时配置 Hive, Map-Reduce 与本地模式错误日志 DDL 操作元数据存储 DM...

Hive2.0函数大全(中文版)

ydq1206的博客

12-12

829

摘要Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。目录数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数具体的可以参见链接Hive2.0中文使用手册**参考资料 LanguageManual UDF 《Hive权威指南》**

hive函数大全（中文版）

05-02

一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: 4 3. 小于比较: < 4 4. 小于等于比较: 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5 8. 非空判断: IS NOT NULL 6 9. LIKE比较: LIKE 6 10. JAVA的LIKE操作: RLIKE 6 11. REGEXP操作: REGEXP 7 二、数学运算： 7 1. 加法操作: + 7 2. 减法操作: - 7 3. 乘法操作: * 8 4. 除法操作: / 8 5. 取余操作: % 8 6. 位与操作: & 9 7. 位或操作: | 9 8. 位异或操作: ^ 9 9．位取反操作: ~ 10 三、逻辑运算： 10 1. 逻辑与操作: AND 10 2. 逻辑或操作: OR 10 3. 逻辑非操作: NOT 10 四、数值计算 11 1. 取整函数: round 11 2. 指定精度取整函数: round 11 3. 向下取整函数: floor 11 4. 向上取整函数: ceil 12 5. 向上取整函数: ceiling 12 6. 取随机数函数: rand 12 7. 自然指数函数: exp 13 8. 以10为底对数函数: log10 13 9. 以2为底对数函数: log2 13 10. 对数函数: log 13 11. 幂运算函数: pow 14 12. 幂运算函数: power 14 13. 开平方函数: sqrt 14 14. 二进制函数: bin 14 15. 十六进制函数: hex 15 16. 反转十六进制函数: unhex 15 17. 进制转换函数: conv 15 18. 绝对值函数: abs 16 19. 正取余函数: pmod 16 20. 正弦函数: sin 16 21. 反正弦函数: asin 16 22. 余弦函数: cos 17 23. 反余弦函数: acos 17 24. positive函数: positive 17 25. negative函数: negative 17 五、日期函数 18 1. UNIX时间戳转日期函数: from_unixtime 18 2. 获取当前UNIX时间戳函数: unix_timestamp 18 3. 日期转UNIX时间戳函数: unix_timestamp 18 4. 指定格式日期转UNIX时间戳函数: unix_timestamp 18 5. 日期时间转日期函数: to_date 19 6. 日期转年函数: year 19 7. 日期转月函数: month 19 8. 日期转天函数: day 19 9. 日期转小时函数: hour 20 10. 日期转分钟函数: minute 20 11. 日期转秒函数: second 20 12. 日期转周函数: weekofyear 20 13. 日期比较函数: datediff 21 14. 日期增加函数: date_add 21 15. 日期减少函数: date_sub 21 六、条件函数 21 1. If函数: if 21 2. 非空查找函数: COALESCE 22 3. 条件判断函数：CASE 22 4. 条件判断函数：CASE 22 七、字符串函数 23 1. 字符串长度函数：length 23 2. 字符串反转函数：reverse 23 3. 字符串连接函数：concat 23 4. 带分隔符字符串连接函数：concat_ws 23 5. 字符串截取函数：substr,substring 24 6. 字符串截取函数：substr,substring 24 7. 字符串转大写函数：upper,ucase 24 8. 字符串转小写函数：lower,lcase 25 9. 去空格函数：trim 25 10. 左边去空格函数：ltrim 25 11. 右边去空格函数：rtrim 25 12. 正则表达式替换函数：regexp_replace 26 13. 正则表达式解析函数：regexp_extract 26 14. URL解析函数：parse_url 26 15. json解析函数：get_json_object 27 16. 空格字符串函数：space 27 17. 重复字符串函数：repeat 27 18. 首字符ascii函数：ascii 28 19. 左补足函数：lpad 28 20. 右补足函数：rpad 28 21. 分割字符串函数: split 28 22. 集合查找函数: find_in_set 29 八、集合统计函数 29 1. 个数统计函数: count 29 2. 总和统计函数: sum 29 3. 平均值统计函数: avg 30 4. 最小值统计函数: min 30 5. 最大值统计函数: max 30 6. 非空集合总体变量函数: var_pop 30 7. 非空集合样本变量函数: var_samp 31 8. 总体标准偏离函数: stddev_pop 31 9. 样本标准偏离函数: stddev_samp 31 10．中位数函数: percentile 31 11. 中位数函数: percentile 31 12. 近似中位数函数: percentile_approx 32 13. 近似中位数函数: percentile_approx 32 14. 直方图: histogram_numeric 32 九、复合类型构建操作 32 1. Map类型构建: map 32 2. Struct类型构建: struct 33 3. array类型构建: array 33 十、复杂类型访问操作 33 1. array类型访问: A[n] 33 2. map类型访问: M[key] 34 3. struct类型访问: S.x 34 十一、复杂类型长度统计函数 34 1. Map类型长度函数: size(Map) 34 2. array类型长度函数: size(Array) 34 3. 类型转换函数 35

Hive2.0内置函数全览：数学、集合、类型转换等

"Hive2.0函数大全(高清中文版)涵盖了数学函数、集合函数、类型转换函数、日期函数、条件函数、字符函数、聚合函数以及表生成函数等各类内置函数，为开发者提供了丰富的操作工具。" 在Hive2.0中，内置函数是开发人员...

Hive字符串处理

jackalxxx的博客

06-14

2012

Hive字符串处理替换正则匹配贪婪匹配JSON字符串解析功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图Hive2.0函数大全(中文版)摘...

Pyspark 读取本地csv文件，插入parquet格式的hive表中

给我一点温度

11-21

2991

在CDSW上模型运行出结果，为csv文件。由于报表的需求，要将csv文件插入到parquet格式中的表中。在其中遇到了很多坑，在此记下来，希望能帮助到遇到同样问题的人。 1、初始化配置创建Spark Session。（注意事项：Spark2.0版本开始将sqlContext、hiveContext统一整合为SparkSession） 2、读取文件并转换为Spark DataFrame格...

Hive用户指南(Hive_user_guide)_中文版.pdf

01-14

1. HIVE结构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 1.1HIVE 架构 Hive 的结构可以分为以下几部分：用户接口：包括 CLI, Client, WUI 元数据存储。通常是存储在关系数据库如 mysql, derby 中 6 解释器、编译器、优化器、执行器 Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算 1、用户接口主要有三个： CLI，Client 和 WUI。其中最常用的是 CLI ， Cli 启动的时候，会同时启动一个 Hive 副本。 Client 是 Hive 的客户端，用户连接至 Hive Server 。在启动 Client 模式的时候，需要指出 Hive Server 所在节点，并且在该节点启动 Hive Server 。 WUI 是通过浏览器访问 Hive 。 2、 Hive 将元数据存储在数据库中，如 mysql 、 derby 。 Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 3、解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行。 4、 Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from tbl 不会生成 MapRedcue 任务）。 1.2Hive 和 Hadoop 关系 Hive 构建在 Hadoop 之上， HQL 中对查询语句的解释、优化、生成查询计划是由 Hive 完成的所有的数据都是存储在 Hadoop 中查询计划被转化为 MapReduce 任务，在 Hadoop 中执行（有些查询没有 MR 任务，如： select * from table ） Hadoop和 Hive 都是用 UTF-8 编码的 7 1.3Hive 和普通关系数据库的异同 Hive RDBMS 查询语言 HQL SQL 数据存储 HDFS Raw Device or Local FS 索引无有执行 MapReduce Excutor 执行延迟高低处理数据规模大小 1. 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 2. 数据存储位置。 Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。 3. 数据格式。 Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、” t ”、” x001″）、行分隔符（” n”）以及读取文件数据的方法（ Hive 中默认有三个文件格式 TextFile ， SequenceFile 以及 RCFile ）。由于在加载数据的过程中，不需要从用户数据格式到 Hive 定义的数据格式的转换，因此， Hive 在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。 4. 数据更新。由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此， Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO ... VALUES 添加数据，使用 UPDATE ... SET 修改数据。 5. 索引。之前已经说过， Hive 在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些 Key 建立索引。 Hive 要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapReduce 的引入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问， Hive 仍然可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了 Hive 不适合在线数据查询。 6. 执行。 Hive 中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的（类似 select * from tbl 的查询不需要 MapReduce）。而数据库通常有自己的执行引擎。

Hive用户手册中文版.pdf

03-22

Hive用户手册中文版.pdf, 快速上手学会操作hive数据库，又快又好的cookbook!!

Hive常用函数大全.pdf

04-14

hive常用函数大全，日期类别，函数类别等常用函数都可有；

hive函数大全

01-09

hive函数大全,hive函数大全,hive函数大全,hive函数大全hive函数大全

Hive函数大全.pdf

09-09

大佬总结的hive的各种常用函数语法格式及其用法，Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等

hive2.0中常用的内置函数大全

fuyun6363的博客

12-09

5060

目录数学函数abs(x)：返回绝对值greatest(T v1, T v2, ...):求最大值least(T v1, T v2, ...)：求最小值round(DOUBLE a)：四舍五入round(DOUBLE a, INT d)：指定精度的四舍五入bround(DOUBLE a)：银行家舍入法bround(DOUBLE a, INT d)：银行家指定精度的舍入法,保留d位小数floor(DO...

Hive2.0函数大全

延宝小白马的博客

12-20

307

摘要 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。目录数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数数学函数 Return Type Name (Signature) Description DOUBLE round(DOUBLE a)

hive的函数大全

01-18

hive的函数大全

HIVE函数详解大全

09-06

HIVE函数大全，包括目前HIVE可用的所有函数，里面有详细说明。HIVE是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。