自定义中文全文索引

最新推荐文章于 2020-05-06 14:24:31 发布
最新推荐文章于 2020-05-06 14:24:31 发布
阅读量68 收藏
点赞数
原文链接：http://www.cnblogs.com/jpfss/p/11394169.html
版权

自定义中文全文索引

一、中文分词插件

NEO4J中文全文索引，分词组件使用IKAnalyzer。为了支持高版本LUCENE，IKAnalyzer需要做一些调整。

IKAnalyzer-3.0 旧版本实现参考

ELASTICSEARCH-IKAnlyzer 高版本实现参考

1、分词组件的调整

调整之后的分词组件 casia.isiteam.zdr.wltea

// 调整之后的实现
public final class IKAnalyzer extends Analyzer {

    // 默认细粒度切分 true-智能切分 false-细粒度切分
    private Configuration configuration = new Configuration(false);

    /** * IK分词器Lucene Analyzer接口实现类 * <p> * 默认细粒度切分算法 */
    public IKAnalyzer() {
    }

    /** * IK分词器Lucene Analyzer接口实现类 * * @param configuration IK配置 */
    public IKAnalyzer(Configuration configuration) {
        super();
        this.configuration = configuration;
    }

    /** * 重载Analyzer接口，构造分词组件 */
    @Override
    protected TokenStreamComponents createComponents(String fieldName) {
        Tokenizer _IKTokenizer = new IKTokenizer(configuration);
        return new TokenStreamComponents(_IKTokenizer);
    }

}

2、分词测试

自定义分词函数

RETURN zdr.index.iKAnalyzer('复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？',true) AS words

在这里插入图片描述

 /** * @param text:待分词文本 * @param useSmart:true 用智能分词，false 细粒度分词 * @return * @Description: TODO(支持中英文本分词) */
    @UserFunction(name = "zdr.index.iKAnalyzer")
    @Description("Fulltext index iKAnalyzer - RETURN zdr.index.iKAnalyzer({text},true) AS words")
    public List<String> iKAnalyzer(@Name("text") String text, @Name("useSmart") boolean useSmart) {

        PropertyConfigurator.configureAndWatch("dic" + File.separator + "log4j.properties");
        Configuration cfg = new Configuration(useSmart);

        StringReader input = new StringReader(text.trim());
        IKSegmenter ikSegmenter = new IKSegmenter(input, cfg);

        List<String> results = new ArrayList<>();
        try {
            for (Lexeme lexeme = ikSegmenter.next(); lexeme != null; lexeme = ikSegmenter.next()) {
                results.add(lexeme.getLexemeText());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return results;
    }

二、样例数据准备

# 构造样例数据
MERGE (a:Loc {name:'A'}) SET a.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？'
MERGE (b:Loc {name:'B'}) SET b.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？'
MERGE (c:Loc {name:'C'}) SET c.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？'
MERGE (d:Loc {name:'D'}) SET d.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？'
MERGE (e:Loc {name:'E'}) SET e.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？'
MERGE (f:Loc {name:'F'}) SET f.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！吖啶基氨基甲烷磺酰甲氧基苯胺是一种药嘛？'
MERGE (a)-[:ROAD {cost:50}]->(b)
MERGE (a)-[:ROAD {cost:50}]->(c)
MERGE (a)-[:ROAD {cost:100}]->(d)
MERGE (b)-[:ROAD {cost:40}]->(d)
MERGE (c)-[:ROAD {cost:40}]->(d)
MERGE (c)-[:ROAD {cost:80}]->(e)
MERGE (d)-[:ROAD {cost:30}]->(e)
MERGE (d)-[:ROAD {cost:80}]->(f)
MERGE (e)-[:ROAD {cost:40}]->(f);

三、通过中文全文分词组件创建节点索引

自定义创建索引过程

CALL zdr.index.addChineseFulltextIndex('IKAnalyzer', 'Loc', ['description']) YIELD message RETURN message

在这里插入图片描述

 @Procedure(value = "zdr.index.addChineseFulltextIndex", mode = Mode.WRITE)
    @Description("CALL zdr.index.addChineseFulltextIndex(String indexName, String labelName, List<String> propKeys) YIELD message RETURN message," +
            "为一个标签下的所有节点的指定属性添加索引")
    public Stream<NodeIndexMessage> addChineseFulltextIndex(@Name("indexName") String indexName,
                                                            @Name("labelName") String labelName, @Name("properties") List<String> propKeys) {
        Label label = Label.label(labelName);

        List<NodeIndexMessage> output = new ArrayList<>();

// // 按照标签找到该标签下的所有节点
        ResourceIterator<Node> nodes = db.findNodes(label);
        System.out.println("nodes:" + nodes.toString());

        int nodesSize = 0;
        int propertiesSize = 0;
        while (nodes.hasNext()) {
            nodesSize++;
            Node node = nodes.next();
            System.out.println("current nodes:" + node.toString());

            // 每个节点上需要添加索引的属性
            Set<Map.Entry<String, Object>> properties = node.getProperties(propKeys.toArray(new String[0])).entrySet();
            System.out.println("current node properties" + properties);

            // 查询该节点是否已有索引，有的话删除
            Index<Node> index = db.index().forNodes(indexName, FULL_INDEX_CONFIG);
            System.out.println("current node index" + index);
            index.remove(node);

            // 为了该节点的每个需要添加索引的属性添加全文索引
            for (Map.Entry<String, Object> property : properties) {
                propertiesSize++;
                index.add(node, property.getKey(), property.getValue());
            }
        }

        String message = "IndexName:" + indexName + ",LabelName:" + labelName + ",NodesSize:" + nodesSize + ",PropertiesSize:" + propertiesSize;
        NodeIndexMessage indexMessage = new NodeIndexMessage(message);
        output.add(indexMessage);
        return output.stream();
    }

四、中文分词索引查询

自定义查询索引过程

CALL zdr.index.chineseFulltextIndexSearch('IKAnalyzer', 'description:吖啶基氨基甲烷磺酰甲氧基苯胺', 100) YIELD node RETURN node

在这里插入图片描述

CALL zdr.index.chineseFulltextIndexSearch('IKAnalyzer', 'description:复联* AND year:1999', 100) YIELD node,weight RETURN node.name,node.year,node.description,weight

在这里插入图片描述

  @Procedure(value = "zdr.index.chineseFulltextIndexSearch", mode = Mode.WRITE)
    @Description("CALL zdr.index.chineseFulltextIndexSearch(String indexName, String query, long limit) YIELD node RETURN node," +
            "执行LUCENE全文检索，返回前{limit个结果}")
    public Stream<ChineseHit> chineseFulltextIndexSearch(@Name("indexName") String indexName,
                                                         @Name("query") String query, @Name("limit") long limit) {
        if (!db.index().existsForNodes(indexName)) {
            log.debug("如果索引不存在则跳过本次查询：`%s`", indexName);
            return Stream.empty();
        }
        return db.index()
                .forNodes(indexName, FULL_INDEX_CONFIG)
                .query(new QueryContext(query).sortByScore().top((int) limit))
                .stream()
                .map(ChineseHit::new);  // provider
    }

【跨标签类型检索】使用addChineseFulltextIndex给标签下节点属性添加的索引，默认可以使用chineseFulltextIndexSearch合并检索出来

// 增加一个非Loc标签的节点，然后使用检索
CREATE (n:LocProvince {name:'P'})  SET n.description='复联终章快上映了好激动，据说知识图谱与人工智能技术应用到了那部电影！' RETURN n
// 节点增加索引（索引名与已有相同）
CALL zdr.index.addChineseFulltextIndex('IKAnalyzer', 'LocProvince', ['description','year']) YIELD message RETURN message
// 通过属性检索节点
CALL zdr.index.chineseFulltextIndexSearch('IKAnalyzer', 'description:复联', 100) YIELD node,weight RETURN node

在这里插入图片描述

五、总结

上述NEO4J中文全文索引解决方法，索引不会自动更新，修改节点属性以及新增节点时都需要重新建立索引。
NEO4J默认索引实现参考：neo4j-lucene-index
在这里插入图片描述

原文地址：https://blog.csdn.net/superman_xxx/article/details/89204456

转载于:https://www.cnblogs.com/jpfss/p/11394169.html

WGH100817
关注
图数据库Neo4J 中文分词查询及全文检索(建立全文索引)
Java的一只小实习生的博客
11-17 4923
Neo4j的全文索引是基于Lucene实现的，但是Lucene默认情况下只提供了基于英文的分词器，下篇文章我们在讨论中文分词器（IK）的引用，本篇默认基于英文分词来做。我们前边文章就举例说明过，比如我要搜索苹果公司？首先我们要做的第一步在各个词条上创建全文索引，第二步我们根据苹果公司进行全文检索，把匹配度高的按顺序输出。下边我们一步步讲解怎么做。
NEO4J中文分词全文索引自动更新解决方案
WGH100817的博客
08-26 462
NEO4J中文分词全文索引自动更新解决方案一、样例数据二、英文与中文全文索引差别1、创建NEO4J默认索引2、删除索引3、创建支持中文分词的索引三、APOC自带英文全文索引过程（可自动更新索引）1、添加全文索引2、新...
MySQL5.6 InnoDB FULLTEXTIndexes研究测试
热门推荐
刀刀的专栏
10-16 11万+
1.概要 InnoDB引擎对FULLTEXT索引的支持是MySQL5.6新引入的特性，之前只有MyISAM引擎支持FULLTEXT索引。对于FULLTEXT索引的内容可以使用MATCH()…AGAINST语法进行查询。 为了在InnoDB驱动的表中使用FULLTEXT索引MySQL5.6引入了一些新的配置选项和INFORMATION_SCHEMA表。比如，为了监视一个FULLTEXT索引中文本
Solution for automatic update of Chinese word segmentation full-text index in NEO4J
WGH100817的博客
09-28 236
Solution for automatic update of Chinese word segmentation full-text index in NEO4J 1. Sample data 2. Differences between Eng...
Neo4j中实现自定义中文全文索引
WGH100817的博客
08-26 253
数据库检索效率时，一般首要优化途径是从索引入手，然后根据需求再考虑更复杂的负载均衡、读写分离和分布式水平/垂直分库/表等手段；索引通过信息冗余来提高检索效率，其以空间换时间并会降低数据写入的效率；因此对索引字段的选择非常重要。 Neo4j可对指定Label的Node Create Index，当新增/更新符合条件的Node属性时，Index会自动更新。Neo4j Index默认采用Lu...
Oracle 如何创建和使用全文索引
09-10
Oracle 创建和使用全文索引是实现高效全文检索的关键技术，尤其在处理大量文本数据时，比传统的基于LIKE和INSTR的查询方式更为高效。Oracle的全文索引利用了其专利的词法分析器（lexer），将文本内容拆解成表意单元...
MySQL全文索引实战：自定义分词构建简单搜索引擎
MySQL全文索引是一种强大的功能，允许在数据库中高效地存储和搜索文本数据。本文档针对想要了解和实践MySQL全文索引实现的开发者提供了一个简单版搜索引擎的实例代码教程。主要关注点在于InnoDB和MyISAM存储引擎...
详解Oracle数据库中文全文索引.docx
09-22
Oracle数据库的全文索引功能是通过Oracle Text组件提供的，该组件在Oracle9i及后续版本中扮演着重要的角色。Oracle Text不仅提供了强大的文本检索能力，还支持智能化的文本管理，使得用户可以高效地搜索和处理大量...
基于Java的全文索引引擎Lucene
03-05
### 基于Java的全文索引引擎Lucene #### Lucene简介与历史背景 Lucene是一个用Java编写的开源全文检索工具包，它不是一款现成的应用程序，而是一套便于开发者集成到自己应用程序中的工具集合。Lucene最早由全文...
wordpress使用coreseek(sphinx)全文索引
01-20
今天wordpress教程网跟大家分享下如何在wordpress中使用高效的全文索引组件coreseek。Coreseek开源中文检索引擎，可以说是Sphinx中文版，因为coreseek加入了中文分词库，大家可以到官网去查看具体介绍：...
如何实现高性能的中文检索
u013146060的博客
10-03 638
前言 百度是最强大的中文搜索引擎，试想如果没有百度，我们的生活将会怎样? 我们将会很难了解到我们生活所需的流行歌曲，体育赛事，好莱坞大片，旅游胜地，名医名院，书籍课程，等各种信息；像我这种水平的低阶码农，也将没办法从技术博客中copy到现成代码来修改，妥妥的要失业。百度是高性能的检索工具，它要尽可能多的爬取全万维网的网页储存起来，还要能够在相当短的时间内响应用户的搜索，这绝对是不简单的。我...
neo4j数据库中合并相同节点
lili安的博客
05-06 1万+
使用命令： MATCH (n:Tag) WITH n.name AS name, COLLECT(n) AS nodelist, COUNT(*) AS count WHERE count > 1 CALL apoc.refactor.mergeNodes(nodelist) YIELD node RETURN node 在笔记本上是可以正常运行的，但是台式机中报错如下： Ther...
Python基于yolo的健身姿势检测与姿态矫正建议系统源代码+使用说明
11-06
Python基于yolo的健身姿势检测与姿态矫正建议系统源代码+使用说明 model:保存模型参数 config.yaml:配置文件 resource:输入文件夹，具有固定的目录结构（动作-视角-标准/错误点） output:输出文件夹，保持和resource相同的目录结构 main.py:实现resource2output方法,将resource中的资源全部提取数据并输出（csv格式）到output的相应位置 tasks:任务文件夹，对于不同的健身任务，分别实现标准性判别方法 keypoint.py:是对yolo模型返回的节点进行对象封装，其中的Keypoint对象封装了返回结果（是一个数组）中各关节位置对应数组中的位置，这样就不需要通过下标直接获取节点，而是通过例如get("l_elbow")的实例方法获取节点 pull_up.py:为具体健身任务实现标准性判别方法，这里是对引体向上的处理 task_processor.py由于main.py是在对resource文件夹中所有资源进行处理，不同的方法将对应不同的处理函数，task_processor.py中实现了TaskProces
使用谷歌地球引擎（GEE）和 Python 在孟加拉国西北部绘制基于机器学习算法的作物类型图.ipynb
11-06
精确的作物类型图对于监测种植模式、可持续利用现有自然资源和估算收成至关重要。人工数字化和标注--绘制作物类型图的常用方法--大多费时、费钱，甚至容易出现人为错误。近来，机器学习算法已发展成为利用卫星图像对作物品种进行分类的经济有效的替代方法。为应对最新进展，本研究将采用机器学习算法，利用哨兵-2 图像对孟加拉国西北部（拉杰沙希县戈达加里乡）的 6 种作物类型进行分类。将研究四种机器学习算法（随机森林、人工神经网络、KNN 和支持向量机），以准确绘制作物类型图。
【光伏预测】基于蛇群优化算法SO优化高斯过程回归GPR实现光伏多输入单输出预测附Matlab代码.rar
11-06
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
【光伏预测】基于鹈鹕优化算法POA优化高斯过程回归GPR实现光伏多输入单输出预测附Matlab代码.rar
11-06
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
深度学习图形识别点位知识
最新发布
11-06
资源说明： 为提高弱纹理图像关键目标点的检测识别能力，提出基干深度学习的弱纹理图像关键目标点识别定位方法;构建低光照强度弱纹理图像关键目标点的拓扑特征分布模型，采用透射率作为检测系数，结合亮通道的先验知识，建立像素大数据分布集................................ pdf文件。请使用支持pdf阅读的工具打开.
【创新未发表】Matlab实现引力搜索优化算法GSA-GRU实现风电数据预测算法研究.rar
11-06
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用，注释清楚，适合新手
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值