elasticsearch学习篇之三数据的导入

最新推荐文章于 2024-10-16 17:11:58 发布

拼一世繁华与你共享

最新推荐文章于 2024-10-16 17:11:58 发布

阅读量748

点赞数

分类专栏： elasticsearch 文章标签： elasticsearch

本文链接：https://blog.csdn.net/u014591788/article/details/81611193

版权

本文介绍了如何使用Logstash的logstash-input-jdbc插件，详细步骤包括配置文件设置、jdbc连接信息、SQL语句、调度及数据导入过程。特别提醒，启动Logstash时需注意避免数据目录冲突问题，可通过指定数据存放路径或删除原有文件解决。

摘要由CSDN通过智能技术生成

之前讲了elasticsearch索引的创建，索引创建成功之后，数据如何导入elasticsearch中，下面将介绍建数据从数据库导入elasticsearch中。
我们可以利用logstash的logstash-input-jdbc插件实现mysql增量导入ES
下面链接为源码地址： https://github.com/logstash-plugins/logstash-input-jdbc
logstash-input-jdbc插件的安装这里不做过多介绍，可以查看官方文档
在进入logstash的安装目录下创建文件命名为su.conf,名称可以自定义
以下为su.conf配置文件中的内容

input {
stdin {
}
jdbc {
# mysql jdbc connection string to our backup databse mysql 地址用户名密码
jdbc_connection_string => “jdbc:mysql://svn.quba360.com:3306/production_stockunlimited”
jdbc_user => “root”
jdbc_password => “feng”

# the user we wish to excute our statement as

# the path to our downloaded jdbc driver jdbc mysql 驱动的路径，
jdbc_driver_library =>
“/usr/logstash/jdbc-lib/mysql-connector-java-5.1.44-bin.jar” #