1. 环境准备
推荐使用CVM配置:
组件 | 建议配置 | 云产品选择 |
---|---|---|
Elasticsearch | 16核64GB内存+1TB SSD | 计算优化型C3 |
Logstash | 8核32GB内存 | 标准型S5 |
Kibana | 4核16GB内存 | 轻量应用服务器 |
2. 关键部署步骤
- 创建安全组:开放9200(ES)、5044(Logstash)、5601(Kibana)端口
- 安装Elasticsearch集群:
# yum源加速安装 wget https://mirrors.tencent.com/elastic/7.x/yum/elasticsearch-7.10.1-x86_64.rpm rpm -ivh elasticsearch-*.rpm
- 配置Logstash管道:
input { tcp { port => 5044 codec => json_lines } } output { elasticsearch { hosts => ["http://es-cluster:9200"] index => "tencent-cloud-%{+YYYY.MM.dd}" } }
- 接入服务日志:
- CLB访问日志:通过COS触发器自动同步
- CVM系统日志:安装Filebeat agent
- 云审计日志:通过CAM服务直接推送
3. 性能优化技巧
- 使用弹性MapReduce预处理超大规模日志
- 开启Elasticsearch冷热数据分离策略,热数据存SSD,冷数据存COS
- 配置Logstash持久化队列防止数据丢失