Spark on Elasticsearch数据写入一致性问题
摘要:脏数据对数据计算的正确性带来了很严重的影响。因此,我们需要探索一种方法,能够实现Spark写入Elasticsearch数据的可靠性与正确性。一、概述 Spark与Elasticsearch(es)的结合,是近年来大数据解决方案很火热的一个话题。Spark是出色的分布式计算引擎,Elasticsearch(es)是出色的搜索引擎。 近年来,越来越多的成熟方案落地到行业产品中,包括我们耳熟能详的Spark+ES+HBase日志分析平台。 目前,华为云数...
原创
2020-08-13 14:03:37 ·
915 阅读 ·
0 评论