- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Hive分区查询
显示表分区：hive> show partitions table_name;根据表分区查询数据：hive> select * from table_name where partition_date='2018-04-10' ;
2018-04-13 16:12:32
62954
原创 集群运行SparkR代码
编写R语言的代码（sparktest.R ）library(SparkR)# Initialize SparkSessionsparkR.session(appName = "SparkR-DataFrame-example")# Create a simple local data.framelocalDF <- data.frame(name=c("John", "Smith...
2018-04-10 18:05:58
537
原创 集群运行PySpark代码
编写python代码（wordcount.py）import sysfrom operator import addfrom pyspark.sql import SparkSessionif __name__ == "__main__": spark = SparkSession.builder.appName("PythonWordCount").getOrCreate()...
2018-04-10 17:25:52
3162
原创 Hive统计函数
(1)count(*) 作用：统计检索出的行的个数，包括NULL值的行 count(t) 作用：返回指定字段的非空值的个数 count(distinct t) 作用：返回指定字段的不同的非空值的个数(2)sum(t) 作用：统计结果集中col的相加的结果 sum(distinct t) 作用：统计结果中col不同值相加的结果(3)avg(t) 作用：统计结果集中col的平均值 ...
2018-04-02 13:30:33
5571
原创 Hive数值计算函数
(1)round(45.666,2) 作用：四舍五入，保留2位小数 ceil(45.6) 作用：向上取整 floor(45.6) 作用：向下取整(2)rand() 返回一个0到1范围内的随机数(3)exp(double a) 返回自然对数e的a次方 ln(double a)返回a的自然对数(4)log10(double a) 返回以10为底的a的对数 log2(double a...
2018-04-02 12:48:49
5707
原创 Hive字符串函数
(1)length('abcedfg') 作用：返回字符串的长度 (2)reverse('abcedfg') 作用：返回字符串的反转结果(3)concat(‘abc’,'def’,'gh’) 作用：返回输入字符串连接后的结果，支持任意个输入字符串 concat_ws(‘,’,'abc’,'def’,'gh’) 作用：返回输入字符串连接后的结果，','分隔符(4)substr,substri...
2018-04-02 11:00:50
10818
原创 Hive日期函数
(1)unix_timestamp('2018-12-05 08:45:17') 作用：统计从1970年开始到现在的秒数(2)from_unixtime(1525509615,'yyyyMMdd') 作用：日期函数UNIX时间戳转日期函数(3)to_date('2018-12-08 10:08:01') 作用：返回日期时间字段中的日期部分(4)year,month,day('2018-12-08 ...
2018-04-02 10:27:43
542
原创 公众号收集
互联网资讯：stormzhang，虎嗅网，AI财经社，AI前线技术路线：人人都是产品经理，caoz的梦呓，待字闺中，Spenser，公关界的007理财：说钱，招财大牛猫，小白读财经学说苏州话：苏白学堂，吴语学堂，潮吴语，苏州闲话，说苏哉身体健康：世界颈椎健康联盟，学习：建昆老师，加宁老师，欧阳平老师，超级青少年，大胆设想...
2018-04-01 22:52:07
362
大数据及其常用组件介绍
2018-11-06
window平台 ncat工具
2018-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人