Logstash是一个开源的服务器端数据处理管道,起初用于将日志类数据写入ES中。随着开源社区的不断发展,Logstash可以同时从多个数据源获取数据,并对其进行转换,然后将其发送到您需要的“存储端”。
以日志数据为例,由于AnalyticDB for MySQL支持原生JDBC方式访问,您可以通过开源logstash output插件
通过logstash-output-analyticdb将数据写入AnalyticDB for MySQL时的性能,相较于logstash-output-jdbc有5倍提升,并且对CPU的消耗也明显降低。
安装
Logstash的安装流程请参见
进入logstash根目录:cd logstash。
安装logstash-output-analyticdb:bin/logstash-plugin install logstash-output-analyticdb。
在logstash目录下创建vendor/jar/jdbc目录:mkdir -p vendor/jar/jdbc。
将jdbc jar拷贝到vendor/jar/jdbc中:cd vendor/jar/jdbc; wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.36/mysql-connector-java-5.1.36.jar。
至此,已成功安装logstash-output-analyticdb。
使用方式
在config目录下创建一个logstash-analyticdb.conf(名字可以自定义)配置文件,logstash-analyticdb.conf文件的内容如下所示。
input