IK分词器 mysql热更新的方法

最新推荐文章于 2023-10-31 15:46:34 发布
最新推荐文章于 2023-10-31 15:46:34 发布
阅读量966 收藏 10
点赞数 2
文章标签： mysql elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaoxie1534/article/details/128933856
版权

文章目录

1. 地址

下载安装elasticsearch对应版本的安装包，本文安装的是elasticsearch7.17.0
链接: elasticsearch-analysis-ik

2. 导入依赖和修改es版本到对应的安装版本

  <properties>
        <elasticsearch.version>7.17.0</elasticsearch.version>
    </properties>
   <!--mysql驱动-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.29</version>
        </dependency>

在这里插入图片描述
在这里插入图片描述

3. 创建数据库，新建主词典和停用词典

CREATE TABLE `es_extra_main` (
    `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
    `word` varchar(255) CHARACTER SET utf8mb4 NOT NULL COMMENT '词',
    `is_deleted` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否已删除',
    `update_time` timestamp(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
    PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


CREATE TABLE `es_extra_stopword` (
    `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
    `word` varchar(255) CHARACTER SET utf8mb4 NOT NULL COMMENT '词',
    `is_deleted` tinyint(1) NOT NULL DEFAULT '0' COMMENT '是否已删除',
    `update_time` timestamp(6) NOT NULL DEFAULT CURRENT_TIMESTAMP(6) ON UPDATE CURRENT_TIMESTAMP(6) COMMENT '更新时间',
    PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

4. 在config下新建jdbc.properties配置相关数据库属性

jdbc.url=jdbc:mysql://192.168.100.231:3306/es?useAffectedRows=true&characterEncoding=UTF-8&autoReconnect=true&zeroDateTimeBehavior=convertToNull&useUnicode=true&serverTimezone=GMT%2B8&allowMultiQueries=true
jdbc.username=root
jdbc.password=root
jdbc.driver=com.mysql.cj.jdbc.Driver
jdbc.update.main.dic.sql=SELECT * FROM `es_extra_main` WHERE update_time > ? order by update_time asc
jdbc.update.stopword.sql=SELECT * FROM `es_extra_stopword` WHERE update_time > ? order by update_time asc
jdbc.update.interval=10

在这里插入图片描述

5. 打包配置

修改src/main/assemblies/plugin.xml 将 MySQL 驱动的依赖写入，否则打成 zip 后会没有 MySQL 驱动的 jar 包。

在这里插入图片描述

 <include>mysql:mysql-connector-java</include>

6.修改权限

src/main/resources/plugin-security.policy 添加permission java.lang.RuntimePermission "setContextClassLoader";，否则会因为权限问题抛出以下异常。
在这里插入图片描述

grant {
  // needed because of the hot reload functionality
  permission java.net.SocketPermission "*", "connect,resolve";
  permission java.lang.RuntimePermission "setContextClassLoader";
};

7. 新建DatabaseMonitor实现类

  • 1.lastUpdateTimeOfMainDic、lastUpdateTimeOfStopword 记录上次处理的最后一条的updateTime
  • 2.查出上次处理之后新增或删除的记录
  • 3.循环判断 is_deleted 字段，为true则添加词条，false则删除词条

在org.wltea.analyzer.dic包下创建DatabaseMonitor类

package org.wltea.analyzer.dic;

import org.apache.logging.log4j.Logger;
import org.elasticsearch.SpecialPermission;
import org.wltea.analyzer.help.ESPluginLoggerFactory;

import java.security.AccessController;
import java.security.PrivilegedAction;
import java.sql.*;
import java.time.LocalDate;
import java.time.LocalDateTime;
import java.time.LocalTime;

/**
 * 通过 mysql 更新词典
 *
 * @author gblfy
 * @date 2021-11-21
 * @WebSite gblfy.com
 */
public class DatabaseMonitor implements Runnable {

    private static final Logger logger = ESPluginLoggerFactory.getLogger(DatabaseMonitor.class.getName());
    public static final String PATH_JDBC_PROPERTIES = "jdbc.properties";

    private static final String JDBC_URL = "jdbc.url";
    private static final String JDBC_USERNAME = "jdbc.username";
    private static final String JDBC_PASSWORD = "jdbc.password";
    private static final String JDBC_DRIVER = "jdbc.driver";
    private static final String SQL_UPDATE_MAIN_DIC = "jdbc.update.main.dic.sql";
    private static final String SQL_UPDATE_STOPWORD = "jdbc.update.stopword.sql";
  
    /**
     * 更新间隔
     */
    public final static String JDBC_UPDATE_INTERVAL = "jdbc.update.interval";

    private static final Timestamp DEFAULT_LAST_UPDATE = Timestamp.valueOf(LocalDateTime.of(LocalDate.of(2020, 1, 1), LocalTime.MIN));

    private static Timestamp lastUpdateTimeOfMainDic = null;

    private static Timestamp lastUpdateTimeOfStopword = null;

    public String getUrl() {
        return Dictionary.getSingleton().getProperty(JDBC_URL);
    }

    public String getUsername() {
        return Dictionary.getSingleton().getProperty(JDBC_USERNAME);
    }

    public String getPassword() {
        return Dictionary.getSingleton().getProperty(JDBC_PASSWORD);
    }

    public String getDriver() {
        return Dictionary.getSingleton().getProperty(JDBC_DRIVER);
    }

    public String getUpdateMainDicSql() {
        return Dictionary.getSingleton().getProperty(SQL_UPDATE_MAIN_DIC);
    }

    public String getUpdateStopwordSql() {
        return Dictionary.getSingleton().getProperty(SQL_UPDATE_STOPWORD);
    }

    /**
     * 加载MySQL驱动
     */
    public DatabaseMonitor() {
        SpecialPermission.check();
        AccessController.doPrivileged((PrivilegedAction<Void>) () -> {
            try {
                Class.forName(getDriver());
            } catch (ClassNotFoundException e) {
                logger.error("mysql jdbc driver not found", e);
            }
            return null;
        });


    }

    @Override
    public void run() {
        SpecialPermission.check();
        AccessController.doPrivileged((PrivilegedAction<Void>) () -> {
            Connection conn = getConnection();

            // 更新主词典
            updateMainDic(conn);
            // 更新停用词
            updateStopword(conn);
            closeConnection(conn);

            return null;
        });

    }

    public Connection getConnection() {
        Connection connection = null;
        try {
            connection = DriverManager.getConnection(getUrl(), getUsername(), getPassword());
        } catch (SQLException e) {
            logger.error("failed to get connection", e);
        }
        return connection;
    }

    public void closeConnection(Connection conn) {
        if (conn != null) {
            try {
                conn.close();
            } catch (SQLException e) {
                logger.error("failed to close Connection", e);
            }
        }
    }

    public void closeRsAndPs(ResultSet rs, PreparedStatement ps) {
        if (rs != null) {
            try {
                rs.close();
            } catch (SQLException e) {
                logger.error("failed to close ResultSet", e);
            }
        }

        if (ps != null) {
            try {
                ps.close();
            } catch (SQLException e) {
                logger.error("failed to close PreparedStatement", e);
            }
        }

    }

    /**
     * 主词典
     */
    public synchronized void updateMainDic(Connection conn) {

        logger.info("start update main dic");
        int numberOfAddWords = 0;
        int numberOfDisableWords = 0;
        PreparedStatement ps = null;
        ResultSet rs = null;

        try {
            String sql = getUpdateMainDicSql();

            Timestamp param = lastUpdateTimeOfMainDic == null ? DEFAULT_LAST_UPDATE : lastUpdateTimeOfMainDic;

            logger.info("param: " + param);

            ps = conn.prepareStatement(sql);
            ps.setTimestamp(1, param);

            rs = ps.executeQuery();

            while (rs.next()) {
                String word = rs.getString("word");
                word = word.trim();

                if (word.isEmpty()) {
                    continue;
                }

                lastUpdateTimeOfMainDic = rs.getTimestamp("update_time");

                if (rs.getBoolean("is_deleted")) {
                    logger.info("[main dic] disable word: {}", word);
                    // 删除
                    Dictionary.disableWord(word);
                    numberOfDisableWords++;
                } else {
                    logger.info("[main dic] add word: {}", word);
                    // 添加
                    Dictionary.addWord(word);
                    numberOfAddWords++;
                }
            }

            logger.info("end update main dic -> addWord: {}, disableWord: {}", numberOfAddWords, numberOfDisableWords);

        } catch (SQLException e) {
            logger.error("failed to update main_dic", e);
            // 关闭 ResultSet、PreparedStatement
            closeRsAndPs(rs, ps);
        }
    }

    /**
     * 停用词
     */
    public synchronized void updateStopword(Connection conn) {

        logger.info("start update stopword");

        int numberOfAddWords = 0;
        int numberOfDisableWords = 0;
        PreparedStatement ps = null;
        ResultSet rs = null;
        try {
            String sql = getUpdateStopwordSql();

            Timestamp param = lastUpdateTimeOfStopword == null ? DEFAULT_LAST_UPDATE : lastUpdateTimeOfStopword;

            logger.info("param: " + param);

            ps = conn.prepareStatement(sql);
            ps.setTimestamp(1, param);

            rs = ps.executeQuery();

            while (rs.next()) {
                String word = rs.getString("word");
                word = word.trim();


                if (word.isEmpty()) {
                    continue;
                }

                lastUpdateTimeOfStopword = rs.getTimestamp("update_time");

                if (rs.getBoolean("is_deleted")) {
                    logger.info("[stopword] disable word: {}", word);

                    // 删除
                    Dictionary.disableStopword(word);
                    numberOfDisableWords++;
                } else {
                    logger.info("[stopword] add word: {}", word);
                    // 添加
                    Dictionary.addStopword(word);
                    numberOfAddWords++;
                }
            }

            logger.info("end update stopword -> addWord: {}, disableWord: {}", numberOfAddWords, numberOfDisableWords);

        } catch (SQLException e) {
            logger.error("failed to update main_dic", e);
        } finally {
            // 关闭 ResultSet、PreparedStatement
            closeRsAndPs(rs, ps);
        }
    }
}

8. 修改Dictionary

8.1在构造方法Dictionary 中加载 jdbc.properties的方法

在这里插入图片描述

       // 加载 jdbc.properties 文件
		loadJdbcProperties();

8.2 将 getProperty()改为 public

在这里插入图片描述

8.3 添加了几个方法，用于增删词条

在这里插入图片描述

在这里插入图片描述

 /**
     * 加载新词条
     */
    public static void addWord(String word) {
        singleton._MainDict.fillSegment(word.trim().toLowerCase().toCharArray());
    }

    /**
     * 移除（屏蔽）词条
     */
    public static void disableWord(String word) {
        singleton._MainDict.disableSegment(word.trim().toLowerCase().toCharArray());
    }

    /**
     * 加载新停用词
     */
    public static void addStopword(String word) {
        singleton._StopWords.fillSegment(word.trim().toLowerCase().toCharArray());
    }

    /**
     * 移除（屏蔽）停用词
     */
    public static void disableStopword(String word) {
        singleton._StopWords.disableSegment(word.trim().toLowerCase().toCharArray());
    }

    /**
     * 加载 jdbc.properties
     */
    public void loadJdbcProperties() {
        Path file = PathUtils.get(getDictRoot(), DatabaseMonitor.PATH_JDBC_PROPERTIES);
        try {
            props.load(new FileInputStream(file.toFile()));
            logger.info("====================================properties====================================");
            for (Map.Entry<Object, Object> entry : props.entrySet()) {
                logger.info("{}: {}", entry.getKey(), entry.getValue());
            }
            logger.info("====================================properties====================================");
        } catch (IOException e) {
            logger.error("failed to read file: " + DatabaseMonitor.PATH_JDBC_PROPERTIES, e);
        }
    }

8.4 initial()启动自己实现的数据库监控线程

在这里插入图片描述

// 建立数据库监控线程
pool.scheduleAtFixedRate(new DatabaseMonitor(), 10, Long.parseLong(getSingleton().getProperty(DatabaseMonitor.JDBC_UPDATE_INTERVAL)), TimeUnit.SECONDS);

9 打包

在这里插入图片描述

10 .压缩包上传到elasticsearch插件目录下并解压

在这里插入图片描述
在这里插入图片描述

11 重启docker ,并测试效果

当数据库51英寸这个word的 is_deleted为1时，表示这个分词不起作用
在这里插入图片描述
在这里插入图片描述
当数据库51英寸这个word的 is_deleted为0时，表示这个分词起作用
在这里插入图片描述

GEK1
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
基于ik动态词库分词实现--无需重启服务
11-09
基于ik动态词库分词实现--无需重启服务
Elasticsearch之中文分词器插件es-ik的自定义热更新词库
weixin_33744141的博客
11-14 811
1： 部署 http 服务 在这使用 tomcat7 作为 web 容器， 先下载一个 tomcat7， 然后上传到某一台服务器上(192.168.80.10)。 再执行以下命令 tar -zxvf apache-tomcat-7.0.73.tar.gz cd apache-tomcat-7.0.73/webapp/ROOT vi hot.dic 测试 ...
ElasticSearch-IK分词器热更新（源码）
m0_60162373的博客
04-13 2850
版本说明 ES版本 IK版本 Mysql版本 v7.6 v7.6.1 5.7 IK分词器源码下载：https://github.com/medcl/elasticsearch-analysis-ik 1. 修改maven依赖es版本号 我个人打开IK源码后，打开pom.xml文件，发现ES的版本并不是7.6.1，修改elasticsearch版本号为7.6.1。如果没有遇到可忽略。 <elasticsearch.version>7.6.1</e
ik分词器的热词更新_IK-7.6.2
weixin_39757265的博客
01-13 222
IK Analysis for ElasticsearchThe IK Analysis plugin integrates Lucene IK analyzer (http://code.google.com/p/ik-analyzer/) into elasticsearch, support customized dictionary.Analyzer: ik_smart , ik_max_...
ElasticSearch(三)-基于Mysql热更新IK词典
weixin_45876411的博客
10-31 469
眼前有景道不得,崔颢题诗在上头;在IK分词器中添加扩展词典或远程扩展词典,每次词典更新后都需要重启ES服务器,这在生产环境中是绝对不被允许的;如果我们把扩展词典数据存放在三方组件中如Redis、Mysql中ElasticSearch每隔一分钟去Redis或Mysql中同步最新的词典数据来更新词库,这样每次更新词库时不用重启ElasticSeach服务器就可以达到IK词典数据热更新;热更新是全量更新还是增量更新？
ElasticSearch 重写IK分词器源码设置mysql热词更新词库1
08-08
0.常用热词词库的配置方式0.1 采用IK 内置词库优点：部署方便，不用额外指定其他词库位置缺点：分词单一化，不能指定想分词的词条0.2 IK 外置静态词库优点
solr6.0+mysql+IK分词集成
06-01
solr6.0+mysql+IK分词集成
solr5.5使用的Ik分词jar及mysql数据同步用到的jar
01-08
solr5.5使用的IK分词IKAnalyzer2012FF_u2.jar包，亲测可用。以及solr5.5同mysql数据同步用到的solr-dataimportscheduler-1.1.1.jar包，亲测可用。
IK同义词插件7.8.0版本，支持从Mysql热加载分词
最新发布
11-10
IK同义词插件7.8.0版本，对插件做了改造和优化，除了支持默认的文件同义词字典以及在线同义词字典之外，还支持从Mysql热加载同义词，并且可以设置时间。
热更新 IK 分词使用方法
极客神殿
04-28 6832
下载，解压，安装1、进入https://github.com/medcl/elasticsearch-analysis-ik/，找到ik分词器对应的版本为5.1.1，直接下载其release的版本（避免maven打包）；2、在/usr/share/elasticsearch/plugins下建立ik目录： mkdir /usr/share/elasticsearch/plugins/ik 3、复制文
elaseticsearch 配置ik分词器的热更新_Web前端热更新
weixin_39851408的博客
11-27 132
热更新是什么？简单来说，热更新一般是指手机里的app有小规模更新，以直接打补丁的形式更新。相对应的，另一种更新方式就是下载新的安装包，重新安装。所以热更新在手游里头是比较常见的，毕竟游戏应用个个都几百兆起步。那Web前端有热更新？按上面那个说法，Web应该是不存在热更新的。因为网页的架构是B/S，即 浏览器+服务器 ， 它不像手机app一样是 C/S 客户端+服务器所以在网页这一块是无法推送补丁让...
elaseticsearch 配置ik分词器的热更新_Elasticsearch入门到高手的成长阶梯-集成中文分词IK...
weixin_39679718的博客
11-30 111
1、IK的介绍Elasticsearch IK分析器插件是国内非常著名的开源中文分析器插件，它是基于国人所开发的另一款基于Luence 的IK分词器做的扩展，以达到对Elasticsearch的支持。Elasticsearch IK分词器是Java语言编写的，在Elasticsearch 0.16的时候就已经开始对其支持了，涵盖了Elasticsearch后续各版本的支持。它包括了ik_smart...
ElasticSearch最新版(8.4.3) IK分词器基于mysql实现热更新词库
qq_34125999的博客
10-28 1548
阅读Dictionary类下的initial方法，基于该方法进行改造。
elasticSearch Ik 分词器部署及热更新
LLH
11-23 1733
先安装好 elasticSearch 登录linux 进入home目录： cd home 下载：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz 解压： tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz 修改文件夹名字：mv elasticsearch-7.15.2-linux-x86_64 elasticse
elastic search ik 词库热更新
qq_35425070的博客
06-29 753
实现 elastic search ik 词库热更新，修改后发送钉钉提醒 ik 是 elastic search 一个常用的分词插件，自带了一些中文得词库，但在特定领域，这些词库远远不能满足我们的名称，比如有些词语：品牌名称、游戏人物名称、剧情名称、产品种类等，在特定领域时我们需要添加一定的领域词语。 ik配置文件解析 进入 ik 插件的 config 目录，发现有个文件IKAnalyzer.cfg.xml，这个文件就是ik的配置文件，内容如下： <?xml version="1.0" encodin
【ElasticSearch专题】探险IK热更新的姿势一「mysql热更新」
batman
12-02 493
TODO
IK 使用mysql热更新 词库
qq_45315629的博客
12-30 176
elasticsearch org.wltea.analyzer.dic.Dictionary org.wltea.analyzer.dic.HotDictReloadThread 修改elasticsearch配置文件jdbc-reload.properties 使用maven打成jar包即可使用 重启elasticsearch 观察控制台日志信息
IK分词器源码改造-添加mysql热更新
qq_43130919的博客
02-23 311
完成对es ik分词器mysql数据库不支持操作 ik分词器使用数据库
Ik分词器（自定义分词-mysql）
Lin_XXiang的博客
11-22 2377
自定义ik分词，并且与mysql关联使用
ik分词器自定义分词器
09-28
IK分词器是一个功能强大的分词工具，它可以通过自定义词典来实现自定义分词。要自定义分词器，你可以按照以下步骤进行操作： 1. 下载和安装IK分词器：将IK分词器安装包直接放在Elasticsearch的plugins文件夹下，并...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值