简介
上一篇文章中,我们最后编了一个需求,需求中有一个内容是去除一个tags数组中的一个词汇,我们用了script processor的操作来移除的。但是我们这次换个操作,那种用的还是ES自己内置的管道,感觉没逼格,我们作为开发,要弄就弄自己的管道。
于是这篇文章,我就会教你如何自己制作一个管道。我们这次来制作一个管道名字就叫levi_filter_word。
他的功能也简单,就是实现对于我们指定的字段,然后移除其中的值,直接替换为空。
你可能已经有个轮廓了,如果按照官方那些例子应该最后是这么个玩意。
PUT /_ingest/pipeline/my_pipeline_01
{
"processors": [
{
"levi_filter_word": {
"field": "name",
"filterWord": "tmd"
}
}
]
}
这里面使用levi_filter_word管道,移除了name字段中的tmd。没毛病。
但是我就要全部自己改了,我的key就不写field,我写成myfield,下面那个替换的key我就不叫filterWord,我就叫myfilterWord。
于是按照我们的想法最后创造出来的应该是这样的。
PUT /_ingest/pipeline/my_pipeline_01
{
"processors": [
{
"levi_filter_word": {
"myfield": "name",
"myfilterWord": "tmd"
}
}
]
}
OK,接下来,我就来操作一遍,你也不需要知道原理,原理得去看源码了,后面我们梳理源码的时候自然会知道。
一、使用idea搭建插件框架,代码编写
我们利用idea的插件能力来搭建框架,你按照我的操作来就行了。
- 创建一个项目
类型为maven的。
最后的效果如下:
然后点create创建就行了。
然后会创建出一个项目,我们需要修改包结构,改成我们自己的想要的,把他那些包都删了,只需要重新命名两个类即可,包结构如下:
然后我们需要实现一个插件类FilterIngestPlugin和一个逻辑处理类FilterWordProcessor。
package com.levi.plugin;
import java.util.HashMap;
import java.util.Map;
import com.levi.FilterWordProcessor;
import org.elasticsearch.ingest.Processor;
import org.elasticsearch.plugins.IngestPlugin;
import org.elasticsearch.plugins.Plugin;
/**
* 插件类,继承Plugin,实现IngestPlugin,因为我们是做管道处理,所以要实现IngestPlugin
* 这样的类才会被ES加载
*/
public class FilterIngestPlugin extends Plugin implements IngestPlugin {
@Override
public Map<String, Processor.Factory> getProcessors(Processor.Parameters parameters) {
Map<String, Processor.Factory> processors = new HashMap<>();
processors.put(FilterWordProcessor.TYPE, new FilterWordProcessor.Factory());
return processors;
}
}
package com.levi;
import java.util.Map;
import org.elasticsearch.ingest.AbstractProcessor;
import org.elasticsearch.ingest.ConfigurationUtils;
import org.elasticsearch.ingest.IngestDocument;
import org.elasticsearch.ingest.Processor;
public class FilterWordProcessor extends AbstractProcessor {
// 我们的管道名称
public static final String TYPE = "levi_filter_word";
private String myfilterWord;
private String myfield;
public FilterWordProcessor(String tag, String description, String myfilterWord, String myfield) {
super(tag, description);
this.myfilterWord = myfilterWord;
this.myfield = myfield;
}
@Override
public IngestDocument execute(IngestDocument ingestDocument) throws Exception {
IngestDocument document = ingestDocument;
String value = document.getFieldValue(myfield, String.class);
String clearedValue = value.replace(myfilterWord, "");
document.setFieldValue(myfield, clearedValue);
return document;
}
@Override
public String getType() {
return TYPE;
}
public static final class Factory implements Processor.Factory {
@Override
public Processor create(Map<String, Processor.Factory> processorFactories, String processorTag, String description, Map<String, Object> config) throws Exception {
// 获取配置参数也就是你DSL里面的KEY值
String field = ConfigurationUtils.readStringProperty(TYPE, processorTag, config, "myfield");
String filterWord = ConfigurationUtils.readStringProperty(TYPE, processorTag, config, "myfilterWord");
return new FilterWordProcessor(processorTag, description,filterWord, field);
}
}
}
此时我们需要去pom文件中,把加载的插件类改成我们自己的。
然后可以把plugin-descriptor.properties文件改为这样,写一些自己的东西。
description=levi processor
version=${project.version}
name=levi-replace-processsor
classname=${elasticsearch.plugin.classname}
elasticsearch.version=${elasticsearch.version}
java.version=${maven.compiler.target}
此时就完成了代码的开发,我们来用maven打包。
之后会在你的这个目录下生成一个zip包,这就是你的插件包,和Ik分词器是一样的一个东西。
此时我们就完成了插件制作。我把插件放在了D:\plugins下面。
二、插件安装
我们此时进入我们的ES的bin目录下,执行如下命令。
elasticsearch-plugin.bat install file:///D:\plugins\levi-replace-processsor-1.0.0-SNAPSHOT.zip
此时我们就安装成功了,安装成功之后要生效,必须重启ES。
重启的时候,我们看到日志,加载了我们自己的管道。
三、插件使用
1、创建索引
PUT my-index-01
{
"settings": {
"number_of_replicas": 0
},
"mappings": {
"properties": {
"name":{
"type": "keyword"
}
}
}
}
2、创建管道
PUT /_ingest/pipeline/my-filter_01
{
"processors": [
{
"levi_filter_word": {
"myfield": "name",
"myfilterWord": "tmd"
}
}
]
}
注意我们的管道名称是levi_filter_word,这个是在源码中定义的。
而不是那个插件名称,这个别混淆。
3、使用管道写入数据
POST my-index-01/_doc?pipeline=my-filter_01
{
"name":"nihao tmd"
}
查看数据发现符合预期,tmd被过滤了。
这就是ES管道插件的使用,至于其他的比如action filter annalizs,后面随着我们自定义程度的提高会逐步加上来。
四、参考链接
1、如何编写自己的插件
2、Writing Your Own Ingest Processor for Elasticsearch