hive-sql
文章平均质量分 57
yuanyangsdo
这个作者很懒,什么都没留下…
展开
-
Hive MapJoin 优化
摘要MapJoin是Hive的一种优化操作,其适用于小表JOIN大表的场景,由于表的JOIN操作是在Map端且在内存进行的,所以其并不需要启动Reduce任务也就不需要经过shuffle阶段,从而能在一定程度上节省资源提高JOIN效率 使用方法一:在Hive0.11前,必须使用MAPJOIN来标记显示地启动该优化操作,由于其需要将小表加载进内存所以要注意小表转载 2017-03-23 11:00:17 · 1719 阅读 · 0 评论 -
hive函数参考手册
1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语法。 SQL使用”=”,不使用”==”。A 所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为转载 2017-03-15 11:28:46 · 314 阅读 · 0 评论 -
hive函数 -- stddev , stddev_pop , stddev_samp , var_pop , var_samp
标准差是方差的平方根1.方差公式:m为x1,x2…xn数列的期望值(平均数)s^2 = [(x1-m)^2 + (x2-m)^2 + … (xn-m)^2]/ns即为标准差s^2为方差。2.实例:hive> select * from dim_row_num limit 10; OK 0 1 2 3 4 5 6 7 8 9hive> select stddev(row_num)转载 2017-03-15 12:11:57 · 2241 阅读 · 0 评论 -
hive-sql to_unix_timestamp的用法
我遇到的问题是: 有这么一个日期字符串:16/Mar/2017:12:25:01 +0800 我想把这个字符串转化成正常的日期格式(yyyy-MM-dd hh:mm:ss)。通过to_unix_timestamp可以直接实现,语句如下:select from_unixtime(to_unix_timestamp('16/Mar/2017:12:25:01 +0800', 'dd/MMM/yyy:原创 2017-03-16 17:41:48 · 9723 阅读 · 0 评论 -
hive常见操作语句--创建表语句
一:hive建表语句Sql代码 create table page_view ( page_id bigint comment '页面ID', page_name string comment '页面名称', page_url string comment '页面URL' ) comment '页面视图' partit转载 2017-04-06 09:21:23 · 6222 阅读 · 0 评论 -
Hive2.0函数大全
摘要Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录数学函数集合函数类型转换函数日期函数条件函数字符函数聚合函数表生成函数 数学函数Return TypeName (Signature)转载 2017-06-30 15:38:02 · 1215 阅读 · 0 评论 -
hive sql 中lateral view explode/json_tuple的使用
我有一个表tab1,表有两个字段sub_id, sub_sku_info,表中有一条数据如下: (注:第二个字段比较长,但这确实是一个字符串,请不要被换行欺骗):sub_id : 101sub_sku_info : [{"skuId":"1017570","num":"2","price":5.8,"jd_price":23.9,"sale_price":5.8},{"skuId":"1329原创 2017-03-10 10:20:08 · 10394 阅读 · 0 评论 -
str_to_map hive 字符串转为map格式
mapstr_to_map(text[, delimiter1, delimiter2])Splits text into key-value pairs using two delimiters. Delimiter1 separates text into K-V pairs, and Delimiter2 splits each K-V pair. Default d转载 2017-03-21 14:16:07 · 55157 阅读 · 1 评论