以前用的阿里云的日志服务,又慢又贵还不灵活。想到clickhouse
的性能非常强,我们又没有什么全文搜索的场景。于是计划将日志写入clickhouse
,用grafana
可视化,看grafana
已经支持clickhouse
数据源。
选用的方案是通过clickhouse
tcp客户端流试写入。这样也不用担心文件碎片问题,性能也非常好(每秒轻松可以写入几十万) 占用资源比常规的日志收集器( Logstash
,Fluentd
,Logtail
) 更少。
可以轻松收集各种数据源的数据 ,各种格式。写了一个库 https://github.com/lizhichao/log2ck
demo:
tail -F apapche/access.log | sendtoclick -h tcp://127.0.0.1:9000
已经稳定运行2个多月,无任何内存溢出或者程序崩溃问题。