Hive --- 日期函数

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat])  返回值: string 说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区...

2017-11-28 14:52:40

阅读数 234

评论数 0

spark--集合操作示例

一、常用操作符(操作符其实也是函数) ++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个列表 ++: ++:[B >: A, That](that: collection.Traversable[B])(...

2017-11-27 17:44:20

阅读数 615

评论数 0

spark2.0版本RDD、DataFrame、DataSet介绍

1. 相关概念 1) RDD:spark中最基本的 弹性分布式数据集,提供了很多api 来操作数据集中的元素 2) DataFrame:spark的基于RDD的一种高级抽象,在RDD之上加入了scheme信息,给RDD的元素的每一列提供了 名称和数据类型 的标志;同 时它还提供了更多的...

2017-11-24 17:26:17

阅读数 200

评论数 0

spark优化----资源调优

spark资源调优 资源参数参考示例 ./bin/spark-submit \         --master yarn \       --deploy-mode cluster \         --num-executors 128 \         --executo...

2017-11-24 16:33:55

阅读数 198

评论数 0

hive表类型---桶表、分区表

Hive表类型 ---- 桶表、 桶表是对数据进行哈希取值,然后放到不同文件中存储。 创建表 create table t_bucket(id string) clustered by(id) into 3 buckets; 加载数据 set hive.enforce.buc...

2017-11-24 15:25:28

阅读数 511

评论数 0

Hive函数大全(完整版)

一、关系运算:1. 等值比较: =语法:A=B操作类型:所有基本类型描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE举例:hive>select 1 from lxw_dual where 1=1;12. 不等值比较: <&amp...

2017-11-22 18:48:52

阅读数 6716

评论数 1

Hive行转列、列转行

hive行转列、列转行

2017-11-22 18:43:54

阅读数 319

评论数 0

Hive函数大全

Hive的函数大全(完全版)

2017-11-22 18:25:49

阅读数 102

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭