- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark算子大全
Transformation： 1.map map的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而mapPartitions函数执行3次。 2.filter（function） 过滤操作，满足filter内function函数为true的RDD内所有元素组成一个新的数据集。如：filter（a == 1）。 3.flatMap（funct
2022-02-02 17:31:13
338
原创 hive函数大全
1、等值比较：= 2、不等值比较：<> 3、小于比较：< 4、小于等于比较：<= 5、大于比较：> 6、大于等于比较：> 7、空值判断：IS NULL 8、非空判断：IS NOT NULL 9、LIKE 比较：LIKE 10、JAVA 的 LIKE 比较：RLIKE 11、正则匹配：REGEXP 数学运算 1、加法操作：+ 2、减法操作：- 3、乘法操作：* 4、除法操作：/ 5、取余操作：% 6、位与操作：& 7、位或操作：| 8、位异或操作：^ 9、按位取反操
2022-02-02 17:19:18
1885
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人