ElasticSearch IK分词自动更新热词采坑教程(7.8.1)

https://github.com/medcl/elasticsearch-analysis-ik/releases
下载对应的IK分词器,并安装到es插件文件夹中
进入文件夹打开
在这里插入图片描述
在这里插入图片描述

-------------------------------来看下官方的介绍说明-----------------------------------

热更新 IK 分词使用方法
目前该插件支持热更新 IK 分词,通过上文在 IK 配置文件中提到的如下配置

<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">location</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<entry key="remote_ext_stopwords">location</entry>

其中 location 是指一个 url,比如 http://yoursite.com/getCustomDict,该请求只需满足以下两点即可完成分词热更新。

该 http 请求需要返回两个头部(header),一个是 Last-Modified,一个是 ETag,这两者都是字符串类型,只要有一个发生变化,该插件就会去抓取新的分词进而更新词库。

该 http 请求返回的内容格式是一行一个分词,换行符用 \n 即可。

满足上面两点要求就可以实现热更新分词了,不需要重启 ES 实例。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里,放在 nginx 或其他简易 http server 下,当 .txt 文件修改时,http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇,并更新这个 .txt 文件。


所以你写一个HTTP请求我试却没获取不到header,输出的字符串或是OutputStream在Es上也无法接收,
而且我在csdn上查的90%的代码都差不多…燕儿其实是这样的
是这样滴
1.一第次会掉一个head接口获取ETag(初次获取不到,第一次请求为写入es标记,第二次才能获取到,如果返回的标记有变化测请求get接口)
2.第二次掉get接口获取更新的词语数据


@RestController
@RequestMapping("/ik")
public class IkController {

    @RequestMapping(value = "/validIkWork" ,method= RequestMethod.HEAD,produces = {"text/html;charset=utf-8"})
    public void  getH(HttpServletRequest request, HttpServletResponse response) {
            /**
             * 打印出header,看看都有什么key是IK返回的
             * if-none-match    这个是es返回的字段,我们获取这个header值做对比
             * 第一次请求没有
             *
             */
            Enumeration<String> headerNames = request.getHeaderNames();
            while (headerNames.hasMoreElements()) {
                String value = (String) headerNames.nextElement();//调用nextElement方法获得元素
                System.out.println(value);
            }
            String IKCallBackKey=request.getHeader("If-None-Match");
            /**
            1.这块模拟做一个key对比,根据官方文档只要Last-Modified 和 ETag 返回的两个header与之前发送的不一致
              侧会掉GET接口获取数据,更新数据
            2.我们用2个txt
                IkDate  对比key 存储时间
                validField  词库
            3.使用File读取时间 模拟mysql/redis存储更新key
            */
            //存字 获取字的数量
            String updateTime = (IkController.read("src/main/resources/static/validField").length())+"";
            System.out.println("head请求,IKCallBackKey="+IKCallBackKey);
            if(updateTime.equals("")||!updateTime.equals(IKCallBackKey)){
                response.setHeader("Etag", updateTime);
            }


    }

    @RequestMapping(value = "/validIkWork",method = GET,produces = {"text/html;charset=utf-8"})
    public String getUpdate(HttpServletRequest request, HttpServletResponse response){
        String old_ETags=request.getHeader("If-None-Match");
        Enumeration<String> headerNames = request.getHeaderNames();
        while(headerNames.hasMoreElements()){
            String value = (String)headerNames.nextElement();//调用nextElement方法获得元素
            System.out.println(value);
        }
        //存字 获取字的数量
        String updateTime = (IkController.read("src/main/resources/static/validField").length())+"";
        //词典   换行
        String word = IkController.read("src/main/resources/static/IkDate");
         response.setHeader("Etag",updateTime);
        return word;
    }

    /**
     * 文件读取类,,当然你可以使用其他的,推荐hutool
     * @param path
     * @return
     */
    public static String read(String path) {
        StringBuilder sb = new StringBuilder();
        BufferedReader reader = null;
        try {
            BufferedInputStream fis = new BufferedInputStream(new FileInputStream(new File(path)));
            reader = new BufferedReader(new InputStreamReader(fis, "utf-8"), 512);// 用512的缓冲读取文本文件

            String line = "";
            while ((line = reader.readLine()) != null) {
                sb.append(line).append("\n");
            }
        } catch (Exception e) {

        } finally {
            if(reader != null) {
                try {
                    reader.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return sb.toString();
    }

}

在这里插入图片描述
在这里插入图片描述

只要我们存的更新字段在变化 ,es就会同步热词

在这里插入图片描述

在这里插入图片描述

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值