1、目标
实现支持英、德、法、葡萄牙、西班牙、俄、印尼、泰、繁中、简中、日、韩、越南、意大利、阿拉伯、土耳其、乌克兰、荷兰、波兰 19种文字的分词器
2、自带的分词器
英 english
德 german
法 french
葡萄牙 portuguese
西班牙 spanish
俄 russian
印尼 indonesian
泰 thai
意大利 italian
阿拉伯 arabic
土耳其 turkish
荷兰 dutch
3、需要额外分词器支持的
波兰 analysis-stempel
乌克兰 analysis-ukrainian
越南 https://github.com/duydo/elasticsearch-analysis-vietnamese 编译成自己需要的插件版本
日语 analysis-kuromoji
韩语 analysis-nori
繁中 analysis-stconvert 转成简体再匹配,输出繁体
简中 analysis-ik
4、编译越南语插件
# 去github下载对应版本的源码 目前只有7.3.1和一部分低版本直接使用的插件
# 如果大于7.3.1需要自己编译
#先下载引入依赖
git clone https://github.com/duydo/vn-nlp-libraries.git
cd vn-nlp-libraries/nlp-parent
mvn install
#下载7.3.1的源码
git clone -b release/v7.3.1 https://github.com/duydo/elasticsearch-analysis-vietnamese.git
修改 elasticsearch-analysis-vietnamese/pom.xml 文件
<version>7.4.2</version>
修改为自己需要的版本
<elasticsearch.version>7.3.1</elasticsearch.version>
插件源码本身的版本号也需要修改一下,不然启动es时会报版本不一致的错误
mvn package
正常的话会在target/releases 目录生成对应的插件zip包
此时可以解压到es插件目录
unzip./target/releases/elasticsearch-analysis-vietnamese-7.4.2.zip -d /data/es/plugins/analysis-vietnamese