- 博客(2)
- 收藏
- 关注
原创 reduceByKey、groupByKey和combineByKey的详解
reduceByKey、groupByKey和combineByKey的详解多年以后你若嫁了 我若未娶 教你孩子放学路上小心点话不多说直接上代码combineByKey造测试数据,将该数组封装成RDD,基于该数据分析三个算子的用法Array((1, 1), (1, 2), (2, 2), (2, 3))package com.knowlegene.kw.testimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkC
2020-09-22 09:58:22 725
原创 Hive动态分区表的创建、及数据加载
Hive动态分区表的创建、及数据加载你吻我是因为你寂寞,我不反抗是因为我爱你往hive分区表中插入数据时,如果需要创建的分区很多,比如以表中日期字段进行分区存储,则需要复制粘贴修改很多sql去执行,效率低。因为hive是批处理系统,所以hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。在创建动态分区表时,首先要在当前会话窗口做如下设置 set hive.exec.dynamic.partition =true //(默认false),表示开启动态分区功能
2020-09-18 14:57:49 2873 3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人