最近由于需要向clickhouse导入数据,数据规模较大,考虑传输工具的效率。因此logstash暂入候选名单。网上资料本文讲解插件的用法调试的过程。提供详细的案例调试代码,遇到的message=>"Bad Request", :response=>"Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (while read the value of key id): (at row 1)\n (version 20.4.5.36 (official build))问题解析。供各位参考。
整合好的插件下载地址:https://download.csdn.net/download/x443557730/12549865
最终实现效果:

一、插件安装
下载
据说可以通过以下方式安装,不过我没成功。
bin/logstash-plugin install logstash-output-clickhouse
github插件下载地址:
https://github.com/mikechris/logstash-output-clickhouse
git clone https://github.com/mikechris/logstash-output-clickhouse.git
编译
gem build logstash-output-clickhouse.gemspec

本文详细介绍了如何使用logstash将数据高效地导入到clickhouse,包括插件的安装、调用和调试过程。在调试过程中,重点解决了JSON解析错误问题,强调了字段类型匹配的重要性。
最低0.47元/天 解锁文章
3456

被折叠的 条评论
为什么被折叠?



