- 博客(4)
- 收藏
- 关注
原创 周活
周活、月活 周活 select date_format(from_utc_timestamp(unix_timestamp()*1000,"GMT+8"),'yyyy-MM-dd') as current_date_day, case when pmod(datediff( from_unixtime(unix_timestamp(),'yyyy-MM-dd'),'2018-01-01') + 1...
2020-01-21 13:53:46 242
原创 SparkContext初始化
SparkContext初始化 首先初始化一个SparkContext上下文对象。(在SparkSQL或者SparkStreaming的时候并没有在代码中初始化SparkContext,但是在这两个方法中隐式的初始化了SparkContext这个方法。) SparkContext是初始化提交集群的环境变量,不需要开启进程,所以在这个类中是没有main方法的。 首先根据传进来的参数,创建了Spark...
2019-08-13 23:58:40 473
原创 SparkSubmit进程执行过程
SparkSubmit进程执行过程 sparksubmit 类main方法中首先讲args封装到了SaprkSubmitArguments 当中。进行参数的初始化。 封装的返回对象appArgs对进行匹配,如果匹配得到的是sunmit那么进行提交作业的操作,如果匹配到的是kill,结束appArgs对应的进程,如果匹配到的是request_status,返回状态信息。 对于匹配到的是submit提...
2019-08-13 21:14:43 957
原创 hive连续天数统计思路
测试数据: T1 Uid dt login_status(1登录成功,0异常) 1 2019-07-11 1 1 2019-07-12 1 1 2019-07-13 1 1 2019-07-14 1 1 2019-07-15 1 1 2019-07-16 1 1 2019-07-17 1 1 2019-07-18 1 2 2019-07-11 1 2 2019-07-12 ...
2019-08-02 19:58:00 1202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人