基于Kafka与Spark的实时大数据质量监控平台
导读:微软的ASG (应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据,如何构建一个高扩展性的data audit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。
案例简介
本案例介绍了微软大数据平台团队设计和部署的基于开源技术(K...
转载
2018-08-10 10:13:56 ·
10867 阅读 ·
0 评论