【Elasticsearch】在 Elasticsearch 中每秒存储 5000 万个事件：我们是如何做到的

1.概述

翻译：https://datadome.co/bot-detection/store-50-million-event-per-second-in-elasticsearch/

DataDome是一家全球网络安全公司，提供SaaS解决方案，旨在保护客户网站免受OWASP自动化威胁：凭据填充、第7层DDoS攻击、SQL注入和密集式抓取。该解决方案通过尖端的人工智能技术保护我们所有客户的漏洞点（网络，移动应用和API），提供实时的自动程序检测和自动阻止决策。

DataDome解决方案使用Apache Flink进行实时事件分析以检测新威胁，并使用Elasticsearch存储来自所有客户访问者的请求。我们从客户的Web服务器接收这些请求，并使用它们在用户仪表板中提供漫游器流量统计信息，反馈循环，业务洞察力和漫游器攻击详细信息。

几个数字：我们的集群存储了超过150 TB的数据，600亿个文档中的15万亿个事件，分布在80个节点上的3000个索引和1.5万个分片。每个文档在单独的字段中存储250个事件。

每