超级会员免费看
大数据Spark “蘑菇云”行动第59课： 广告点击系统TopN热门广告分析与实现
两份全局累计数据：一份在SparkStreaming中，另外一份在MySQL
计算TOPn：1、topn从数据库中计算，数据特别多，一台数据库装不完，效率不高。不采用。
2、直接从spark streaming中累加器 reducebykey
本课程聚焦大数据Spark应用，讲解如何在广告点击系统中进行TopN热门广告的分析与实现。考虑到数据量大，从数据库直接计算效率低下，故不采用。而是利用Spark Streaming的累加器reduceByKey方法进行实时计算，确保高效处理全局累计数据。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
