logstatsh数据同步

最新推荐文章于 2024-09-16 00:29:15 发布

@所谓伊人

最新推荐文章于 2024-09-16 00:29:15 发布

阅读量747

点赞数 1

分类专栏： Elasticsearch 电商网站搭建文章标签： elasticsearch logstash

本文链接：https://blog.csdn.net/qq_39750835/article/details/119675032

版权

电商网站搭建同时被 2 个专栏收录

84 篇文章 1 订阅

订阅专栏

Elasticsearch

23 篇文章 1 订阅

订阅专栏

1. logstash介绍

1.1 数据采集

logstash是一个插件，将其他地方的数据（如数据库）同步到elasticsearch

1.2 以id或update_time作为同步边界

当数据库中的id增长时（前提是数据库使用自增id），es做定时任务时，比较自己数据的id和数据库的id，如果增长了，那就是有新增的数据，那么，再进行同步。以id作为同步边界这种方法只能识别到增长的数据，不能识别到更改的数据。而以update_time作为同步边界，同理，也是定时比较自己的update_time和数据库中的update_time大小，如果大于自身的，那就是增长或者发生更改了，再进行同步。

所以，我们以update_time作为同步边界比较好。

1.3 logstash-input-jdbc插件

老版本logstash需要集成logstash-input-jdbc插件，新版本自带，不需要集成。

1.4 预先创建索引

在将数据库中的数据同步到es上之前，我们要先创建索引。

2. 安装logstash

2.1 下载

下载链接：https://www.elastic.co/cn/downloads/past-releases/logstash-6-4-3 这里我用的是6.4.3版本的，其他版本可自行下载。logstash版本要对应elasticsearch版本。

2.2 安装

我采取分布式，将logstash安装在不与elasticsearch服务相同的服务器上。当然，安装在一个服务器上也是可以的。

安装前准备：jdk环境、mysql-connector-java-5.1.41.jar（这个jar包在自己本地maven仓库里就可以找到，每个人根据自己的数据库版本而定）

2.2.1 解压

tar -zxvf logstash-6.4.3.tar.gz

2.2.2 将解压后的文件夹移动到 /usr/local

mv logstash-6.4.3 /usr/local/

2.2.3 进入 /usr/local/logstash-6.4.3 创建文件夹sync

2.2.4 拷贝数据库驱动到sync

cp /home/software/mysql-connector-java-5.1.41.jar .

2.2.5 在sync目录下，创建文件logstash-db-sync.conf

vim logstash-db-sync.conf

2.2.6 编辑logstash-db-sync.conf

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.1.6:3306/foodie-shop-dev?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "123456"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.1.34:9200"]
        # 同步的索引名
        index => "foodie-items"
        # 设置_docID和数据库中的id保持相同
        document_id => "%{itemId}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

2.2.7 创建sql脚本

vim foodie-items.sql

3. 启动logstash

cd /usr/local/logstash-6.4.3/bin

./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf

数据同步成功

4. 遇到的问题

数据库端口3306连不通，解决方法：

由于mysql安装在本地win上，所以win+R打开命令提示符，输入 mysql -u root -p 输入密码

再执行授权语句：

grant all privileges on *.* to 'root'@'192.168.1.40' identified by '123456';

5. 删除数据

对于es，不能真正的删除数据，只能逻辑删除，当我们在数据库也逻辑删除时，会修改update_time，那么es就会对应的进行逻辑删除。

6. 自定义模板配置中文分词

目前的数据同步，mappings映射会自动创建，但是分词不会，还是会使用默认的英文分词，而我们需要中文分词，这个时候就需要自定义模板功能来设置分词了。

6.1 获取logstash模板内容

修改获取到的json内容

{
		"order": 0,
		"version": 1,
		"index_patterns": ["*"],
		"settings": {
			"index": {
				"refresh_interval": "5s"
			}
		},
		"mappings": {
			"_default_": {
				"dynamic_templates": [
					{
						"message_field": {
							"path_match": "message",
							"match_mapping_type": "string",
							"mapping": {
								"type": "text",
								"norms": false								
							}
						}
					},
					{
						"string_fields": {
							"match": "*",
							"match_mapping_type": "string",
							"mapping": {
								"type": "text",
								"norms": false,
								"analyzer": "ik_max_word",
								"fields": {
									"keyword": {
										"type": "keyword",
										"ignore_above": 256
									}
								}
							}
						}
					}
				],
				"properties": {
					"@timestamp": {
						"type": "date"
					},
					"@version": {
						"type": "keyword"
					},
					"geoip": {
						"dynamic": true,
						"properties": {
							"ip": {
								"type": "ip"
							},
							"location": {
								"type": "geo_point"
							},
							"latitude": {
								"type": "half_float"
							},
							"longitude": {
								"type": "half_float"
							}
						}
					}
				}
			}
		},
		"aliases": {}
	}

在/usr/local/logstash-6.4.3/sync下，创建文件logstash-ik.json，将以上json内容粘贴进去

修改文件logstash-db-sync.conf

        #定义模板名称
        template_name => "myik"
        #模板所在位置
        template => "/usr/local/logstash-6.4.3/sync/logstash-ik.json"
        #重写模板
        template_overwrite => true
        #默认为true，false关闭logstash自动管理模板功能，如果自定义模板，则设置为false
        manage_template => false

然后，重新运行logstash

./logstash -f /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf

但是，logstash模板没有指定为自定义的模板。

我又尝试了另一种方法，将logstash-ik.json里的内容贴到请求body，采用PUT请求的方式，指定模板内容。