- 博客(4)
- 收藏
- 关注
RSS订阅原创 周活
周活、月活周活selectdate_format(from_utc_timestamp(unix_timestamp()*1000,"GMT+8"),'yyyy-MM-dd') as current_date_day,casewhen pmod(datediff( from_unixtime(unix_timestamp(),'yyyy-MM-dd'),'2018-01-01') + 1...
2020-01-21 13:53:46
242
原创 SparkContext初始化
SparkContext初始化首先初始化一个SparkContext上下文对象。（在SparkSQL或者SparkStreaming的时候并没有在代码中初始化SparkContext，但是在这两个方法中隐式的初始化了SparkContext这个方法。）SparkContext是初始化提交集群的环境变量，不需要开启进程，所以在这个类中是没有main方法的。首先根据传进来的参数，创建了Spark...
2019-08-13 23:58:40
473
原创 SparkSubmit进程执行过程
SparkSubmit进程执行过程sparksubmit 类main方法中首先讲args封装到了SaprkSubmitArguments 当中。进行参数的初始化。封装的返回对象appArgs对进行匹配，如果匹配得到的是sunmit那么进行提交作业的操作，如果匹配到的是kill，结束appArgs对应的进程，如果匹配到的是request_status，返回状态信息。对于匹配到的是submit提...
2019-08-13 21:14:43
956
原创 hive连续天数统计思路
测试数据：T1Uid dt login_status(1登录成功,0异常)1 2019-07-11 11 2019-07-12 11 2019-07-13 11 2019-07-14 11 2019-07-15 11 2019-07-16 11 2019-07-17 11 2019-07-18 12 2019-07-11 12 2019-07-12 ...
2019-08-02 19:58:00
1202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人