本文介绍了Meltwater如何运营一个包含400多个节点的Elasticsearch集群，用于处理每天数百万的媒体监控数据。文章讨论了面临的挑战、性能优化技巧以及为何停留在1.7.6版本的原因。集群每天处理大量社论文章和推文，使用自定义的Roaring位集进行缓存优化。升级困难是继续使用旧版本的主要障碍。
1.概述
翻译：https://underthehood.meltwater.com/blog/2018/02/06/running-a-400±node-es-cluster/
鉴于 Meltwater 每天必须处理数百万个帖子，我们需要一种能够处理这种数量的搜索和存储技术。
自 0.11.X 天以来，我们一直是 Elasticsearch 的非常满意的用户。虽然我们经历了一些起起落落，但最终我们认为我们选择的技术是正确的。
Elasticsearch 用于支持我们的主要媒体监控应用程序，客户可以在其中搜索和分析媒体数据，例如新闻文章、（公共）Facebook 帖子、Instagram 帖子、博客和推文。我们使用 API 和爬行的组合来收集这些内容
订阅专栏 解锁全文
扫一扫
3374
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
