clickhouse
lzc828
这个作者很懒,什么都没留下…
展开
-
怎样将大量的日志实时写入clickhouse,用于日志分析
以前用的阿里云的日志服务,又慢又贵还不灵活。想到clickhouse的性能非常强,我们又没有什么全文搜索的场景。于是计划将日志写入clickhouse ,用grafana可视化,看grafana已经指出重clickhouse数据源。选用的方案是通过clickhouse tcp客户端流试写入。这样也不用担心文件碎片问题,性能也非常好(每秒轻松可以写入几十万) 占用资源比常规的日志收集器( Logstash,Fluentd,Logtail) 更少。可以轻松收集各种数据源的数据 ,各种格式。写了一个库 htt原创 2020-11-20 13:08:57 · 7029 阅读 · 7 评论 -
clickhouse insert的数据结构
clickhouse insert大致分为两部分1. sql语句部分 insert into table (f1,f2)2. 数据部分 数据部分又分为3部分(头,数据,尾)-. 数据头-. 数据块1-. 数据块2-. 数据块N-. 数据尾从中可以看出 每个insert可以包含多个数据块,没个数据块可以包含多行。一个完整的insert执行后,clickhouse会生成一个临时文件夹,里面包含了当前的数据,clickhouse会定时把这些文件合并。建了一个clickhouseQQ欢迎加入原创 2020-10-30 14:28:35 · 869 阅读 · 0 评论 -
clickhouse 如何快速写入数据
clickhouse 是一个查询非常快的数据库,但是写入需要注意不要高频低量写入 这样非常慢 还可能会引发 too parts many ……………… 之内错误。在实际应用中需要把数据先攒起来,到了一定的量了才写入。不过这样稍微麻烦些,有么有实时任意量写入的办法,又不引发 too parts many错误呢?有的 , 不过只能使用tcp客户端,流试写入 这种写入速度非常快,本人在云服务器上测试1000w 基本12s左右能就能写完。可以参考 one-ck...原创 2020-09-27 17:06:41 · 9796 阅读 · 11 评论