当前京东数据平台用到spark 的五种方式
1.spark sql 数据从Hive 同步到ES
用python包装命令, 使用spark-submit 提交 ,run_shell_cmd(spark-submit) 具体案例可以参考另外的博文
2.机器学习会用到pyspark 自带的类似kmeans 的方法做数据加载 ,用pypsark 写 应用程序,通过shell 调
spark-submit 执行命令 包装成zip 进行发布
3.再有就是机器学习用Scalaspark 打成jar 结合shell spark-submit 打包成zip 发布
4.另外一种情况把现在python sql 脚本 发布到spark sql 的队列中 ,直接执行 ,相对改变较小,经过测试发现
需要对内存和core 和executor 要有较好的认知把握才能提高程序执行效率
5.最后一种情况是 用Java 或是 Scala python 写 spark程序 rdd ,打成jar 发布 shell zip 包 执行 ,这些个
变化相对较大,不太容易呈现 ,改写要求高,但是对提高对spark 的认识和技能掌握更有提高的空间
comment : 目前公司前四种都有用到 ,第一和第四条我有尝试测试 ,对于 第2 第3 ,第5 暂时未有深度了解,
不过迫在眉睫。