spark
文章平均质量分 81
changyuan101
这个作者很懒,什么都没留下…
展开
-
spark实践
1 遇到的坑1、maven 未引入hadoop-client,结果报错误,找不到 Could not locate executable null\bin\winutils.exe in the Hadoop binaries. org.apache.hadoophadoop-client1.2.1原创 2016-07-28 09:50:39 · 3801 阅读 · 0 评论 -
spark+mongodb + quartz
由于业务数据量大,使用普通查询统计已不能满足需求,所以使用spark+mongodb进行聚合统计,两种方案1使用quartz调度spark,定时进行业务数据统计2使用crontab调度spark,定时进行业务数据统计 为了便于管理最终使用方案1 quartz调度代码这里就不展示了,只写spark+mongodb调用1 引入maven依赖 o原创 2016-11-21 11:36:38 · 3910 阅读 · 4 评论