今日学习心得:
上午填写毕业设计的选题表,总结展示的内容。
下午开始尝试将hive的数据定时同步到mysql里。
学到了打点数据的加载流程,打点数据有相同的两份同时传给amplitude和BDP,amplitude->s3,在使用shell脚本传递给aws,再传到ucloud,之后加载到本地,再通过hdfs的put到某一路径,再用spark加载到amplitude-history。
还学到了调度系统的开发流程,查询precess name的执行状态(重试,失败,成功),将他们进行计算。
04-20
178