Logstash——数据同步自定义模板配置中文分词

上一篇文章是根据实例介绍logstash导数据的：本文有看不懂的地方，可以看上一篇文章，再来看当前文章,两篇文章使用一个实例。

上一篇文章地址：https://blog.csdn.net/b15735105314/article/details/111243036

如果es的默认分词器是standard，那么logstash在导数据的时候，string类型字段会根据logstash模板被自动映射成text类型，同时设置字段分词，这时使用的分词器就是standard，将中文分成单个字，不利于后续的搜索使用。

1、es查看logstash的模板

http://192.168.40.81:9200/_template/logstash

默认模板内容如下：（下面内容第二行的logstash是模板的名称，模板的内容是logstash对应的值，我们要自定义的就是这个值）

{
    "logstash": {
        "order": 0,
        "version": 60001,
        "index_patterns": [
            "logstash-*"
        ],
        "settings": {
            "index": {
                "number_of_shards": "1",
                "refresh_interval": "5s"
            }
        },
        "mappings": {
            "dynamic_templates": [
                {
                    "message_field": {
                        "path_match": "message",
                        "mapping": {
                            "norms": false,
                            "type": "text"
                        },
                        "match_mapping_type": "string"
                    }
                },
                {
                    "string_fields": {
                        "mapping": {
                            "norms": false,
                            "type": "text",
                            "fields": {
                                "keyword": {
                                    "ignore_above": 256,
                                    "type": "keyword"
                                }
                            }
                        },
                        "match_mapping_type": "string",
                        "match": "*"
                    }
                }
            ],
            "properties": {
                "@timestamp": {
                    "type": "date"
                },
                "geoip": {
                    "dynamic": true,
                    "properties": {
                        "ip": {
                            "type": "ip"
                        },
                        "latitude": {
                            "type": "half_float"
                        },
                        "location": {
                            "type": "geo_point"
                        },
                        "longitude": {
                            "type": "half_float"
                        }
                    }
                },
                "@version": {
                    "type": "keyword"
                }
            }
        },
        "aliases": {}
    }
}

2、自定义模板

这时我们可以自定义一个自己的模板，内容如下：

（模板存放在一个文件中，建议以.json结尾，放在当前导数据的任务文件夹下，本文对应的导数据任务路径为 /usr/local/logstash-7.9.3/sync ）

{
    "order": 0,
    "version": 1,
    "index_patterns": ["*"],
    "settings": {
        "index": {
            "refresh_interval": "5s"
        }
    },
    "mappings": {
        "_default_": {
            "dynamic_templates": [
                {
                    "message_field": {
                        "path_match": "message",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false
                        }
                    }
                },
                {
                    "string_fields": {
                        "match": "*",
                        "match_mapping_type": "string",
                        "mapping": {
                            "type": "text",
                            "norms": false,
                            "analyzer": "ik_max_word",
                            "fields": {
                                "keyword": {
                                    "type": "keyword",
                                    "ignore_above": 256
                                }
                            }
                        }
                    }
                }
            ],
            "properties": {
                "@timestamp": {
                    "type": "date"
                },
                "@version": {
                    "type": "keyword"
                },
                "geoip": {
                    "dynamic": true,
                    "properties": {
                        "ip": {
                            "type": "ip"
                        },
                        "location": {
                            "type": "geo_point"
                        },
                        "latitude": {
                            "type": "half_float"
                        },
                        "longitude": {
                            "type": "half_float"
                        }
                    }
                }
            }
        }
    },
    "aliases": {}
}

如上就可以将string类型的字段映射成text类型，同时使用ik分词器进行分词。

创建好自定义模板之后，将模板文件logstash-ik.json（文件名随便起）放在logstash的导数据的任务文件夹sync下（其他位置也可以，只要在任务配置文件中指定完整路径即可）

在任务配置文件中的output 模块下的 elasticsearch 模块添加如下内容：

# 定义模板名称，名称可以随便定义
template_name => "myik"
# 模板所在位置
template => "/usr/local/logstash-7.9.3/sync/logstash-ik.json"
# 重写模板
template_overwrite => true
# 默认为true，false关闭logstash自动管理模板功能，如果自定义模板，则设置为false
manage_template => false

3、启动logstash

./logstash -f /usr/local/logstash-7.9.3/sync/logstash-db-es.conf