logstash的安装和使用

一、logstash的安装

注：在将数据库中数据存储到es中，可以将数据库查询出来，然后使用代码进行一条条的插入

第二种方法就是可以使用logstich自动的将数据库数据插入到ES中

下载logstash：https://www.elastic.co/cn/downloads/logstash

注意logstash的版本需要与elasticsearch的版本保持一致

# 安装完成后解压logstash，即可安装成功
tar -zxvf logstash...

二、同步数据的准备工作

# 在logstash目录创建一个文件夹，用来存放同步数据需要用到的东西
mkdir sync

在进行与数据库的同步时，需要使用数据库的连接jar包

下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java

在其中选择与数据库版本一致的jar包，然后上传到sync文件夹下

三、构建同步数据的配置文件

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://数据库地址?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-6.4.3/sync/mysql-connector-java-5.1.41.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-6.4.3/sync/foodie-items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-6.4.3/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "updated_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.1.187:9200"]
        # 同步的索引名，需要先创建索引
        index => "foodie-items"
        # 设置_docID和数据相同  id要与数据库中的id列名一致
        document_id => "%{id}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

在有配置文件后，还需要创建一个sql文件用来执行数据同步时的查询脚本，文件名需要与配置文件中的文件名保持一致

SELECT
		i.id as itemId,
		i.item_name as itemName,
		i.sell_counts as sellCounts
		i.updated_time as updated_time
FROM
		items i
WHERE
		ii.is_main = 1
		-- 以上的查询条件都不重要，只要保证数据库中的更新时间这一列与配置文件中的名字保持一致就行
		-- AND条件之后内容代表es同步数据的条件 
		-- sql_last_value是logstash中的关键字
		AND
		i.updated_time >= :sql_last_value

配置完成后，启动logstash同步查询

# 使用logstash中bin目录下的命令，指明配置文件进行启动即可
../bin/logstash -f logstash-db-sync.conf

四、使用中文分词器

使用logstash创建索引会使用默认的分词器，所以我们需要修改logstash模板使用中文分词器

{
    "order": 0,
    "version": 1,
    "index_patterns": ["*"],
    "settings": {
        "index": {
            "refresh_interval": "5s"
        }
    },
    "mappings": {
        "_default_": {
            "dynamic_templates": [
                {
                    "message_field": {
                        "path_match": "message",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false
                        }
                    }
                },
                {
                    "string_fields": {
                        "match": "*",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false,
                            // 加入下面的这一句即可
                            "analyzer": "ik_max_word",
                            "fields": {
                                "keyword": {
                                    "type": "keyword",
                                    "ignore_above": 256
                                }
                            }
                        }
                    }
                }
            ],
            "properties": {
                "@timestamp": {
                    "type": "date"
                },
                "@version": {
                    "type": "keyword"
                },
                "geoip": {
                    "dynamic": true,
                    "properties": {
                        "ip": {
                            "type": "ip"
                        },
                        "location": {
                            "type": "geo_point"
                        },
                        "latitude": {
                            "type": "half_float"
                        },
                        "longitude": {
                            "type": "half_float"
                        }
                    }
                }
            }
        }
    },
    "aliases": {}
}

修改同步数据的配置文件

output {
    elasticsearch {
        # es地址
        hosts => ["192.168.240.51:9200"]
        # 同步的索引名
        index => "foodie-items-ik"
        # 设置_docID和数据相同
        # document_id => "%{id}"
        document_id => "%{itemId}"


	# 修改logstash的模板操作
	# 定义模板名称，名称可以随便定义
	template_name => "myik"
	# 模板所在位置
	template => "/usr/local/logstash-6.4.3/sync/logstash-ik.json"
	# 重写模板
	template_overwrite => true
	# 默认为true，false关闭logstash自动管理模板功能，如果自定义模板，则设置为false
	manage_template => false
    }
    
    
    # 日志输出
    stdout {
        codec => json_lines
    }
}

五、logstash切换中文分词器不成功

转载自：https://zhuanlan.zhihu.com/p/193097657

先将manage_template => true设置为true

然后 启动 logstash 同步template

使用http://192.168.1.111:9200/_template/myik 在postman中确认是否配置成功上传

再将manage_template => false 设置为false

重启logstash