数据通过logstash写入clickhouse详解

本文详细介绍了如何使用logstash将数据高效地导入到clickhouse,包括插件的安装、调用和调试过程。在调试过程中,重点解决了JSON解析错误问题,强调了字段类型匹配的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近由于需要向clickhouse导入数据,数据规模较大,考虑传输工具的效率。因此logstash暂入候选名单。网上资料本文讲解插件的用法调试的过程。提供详细的案例调试代码,遇到的message=>"Bad Request", :response=>"Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (while read the value of key id): (at row 1)\n (version 20.4.5.36 (official build))问题解析。供各位参考。

整合好的插件下载地址:https://download.csdn.net/download/x443557730/12549865

最终实现效果:

一、插件安装

下载

据说可以通过以下方式安装,不过我没成功。

bin/logstash-plugin install logstash-output-clickhouse

github插件下载地址:

https://github.com/mikechris/logstash-output-clickhouse

git clone https://github.com/mikechris/logstash-output-clickhouse.git

编译

gem build logstash-output-clickhouse.gemspec

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值