Elasticsearch之logstash的下载安装及使用并配置ik分词器

最新推荐文章于 2024-03-03 09:25:48 发布

架构路上

最新推荐文章于 2024-03-03 09:25:48 发布

阅读量601

点赞数

分类专栏： elasticsearch 文章标签： elasticsearch es

本文链接：https://blog.csdn.net/weixin_41725792/article/details/110247158

版权

本文介绍了如何选择同步数据库到Elasticsearch的边界，如字段id或updateTime，并详细说明了利用logstash-jdbc插件进行数据同步的过程。在准备工作部分，提到了下载与Elasticsearch版本匹配的logstash和数据库驱动，以及配置logstash的配置文件。启动步骤中，还补充了获取和修改logstash模板以添加IK分词器的操作。

摘要由CSDN通过智能技术生成

1. 选择同步边界

字段id
当数据库有新增字段时logstash就会同步到es中。缺点是当数据更新时，logstash无法感知。
updateTime
一般情况下我们选择这个，updatetime不管是新增还是修改都会产生变化，logstash能够感知。

2.logstash-jdbc插件（新版本自带的）

3.准备

下载logstash 注意版本跟es一致（https://www.elastic.co/cn/downloads/elasticsearch）
下载数据库连接驱动 mysql-connector-java-5.1.41.jar
解压，配置

tar -zxvf logstash.x.x 						// 解压
cd logstash.x.x								// 进入文件夹								
mkdir sync										// 创建文件夹
cd sync 										// 进入文件夹
vim logstash-db-sync.conf			//  创建同步规则配置文件
cp ~/mysql-connector  .				//	复制驱动到当前目录

logstash-db-sync.conf

input {
  jdbc {
 	# 驱动的路径，在上一步中已经下载
    jdbc_driver_library => "/usr/local/sql/mysql-connector-java-5.1.46.jar"
    # 数据库地址
    jdbc_driver_class => "com.mysql.jdbc.