基于 Scribe 的 Python 日志处理 METL 系统

目录

一、新日志收集系统

1、一图了解 HIGO 新的日志收集系统

2、日志源（NGINX）机器 Scribe cient

3、日志汇聚（SCRIBE）机器 Scribe service

4、Python 日志处理 METL 系统

二、METL❓

1、系统支持

2、部署安装

3、在 HIGO 的使用

4、异常情况处理

---

一、新日志收集系统

1、一图了解 HIGO 新的日志收集系统

 

2、日志源（NGINX）机器 Scribe cient

服务器	服务	部署路径	管理的日志	日志分类	状态
yz-sre-wannx00.lehe.com yz-sre-wannx01.lehe.com	scribe（客户端）	/home/service/scribed	/usr/local/openresty/nginx/logs/v.lehe.access.log /usr/local/openresty/nginx/logs/www.lehe.access.log /usr/local/openresty/nginx/logs/m.lehe.access.log /usr/local/openresty/nginx/logs/a.lehe.access.log /usr/local/openresty/nginx/logs/pages.w.lehe.access.log	v_higo_nginx（gz_higo_v_log） higo_nginx_access（gz_higo_main_log） m_higo_nginx（gz_higo_wap_log） utm_higo_nginx（gz_higo_utm_log） glk_higo_nginx（gz_higo_glk_log）	✅
	scribed_nginx_client （通过 supervise 对多个日志服务进程监控管理）	/home/service/scribed_nginx_client			✅
yz-higo-preonline01.lehe.com	同上 ↑	同上 ↑	/opt/logs/higo/riskcontrol/risk.control.login*.log /opt/logs/higo/riskcontrol/risk.control.order*.log /opt/logs/higo/riskcontrol/risk.control.register*.log	login_log（higo_php_statistics_login_log） order_log（higo_php_statistics_order_log） register_log（higo_php_statistics_register_log）	✅
scribed_nginx_client 启动方法		ssh root@<部署机器> "cd /home/service/scribed_nginx_client && setsid ./start_log_to_scribe.sh </dev/null"

3、日志汇聚（SCRIBE）机器 Scribe service

服务器	服务	部署路径	日志路径	日志分类	状态
yz-bi-store01.lehe.com	scribe（服务端）	/home/service/scribed	/data/web	v_higo_nginx（gz_higo_v_log） higo_nginx_log（gz_higo_main_logÿ