分布式搜索Elasticsearch——集成paoding

最新推荐文章于 2023-05-03 21:07:37 发布
最新推荐文章于 2023-05-03 21:07:37 发布
阅读量1.3w 收藏 12
点赞数
分类专栏： Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/geloin/article/details/8451067
版权

先做个记录，研究出来了，不记下来下次就不知道怎么处理了。

为es安装paoding插件

首先你得安装paoding插件，进入%ES_HOME%/bin，执行下列代码：

plugin -install medcl/elasticsearch-analysis-paoding/1.0.0
接下来，在https://github.com/medcl/elasticsearch-analysis-paoding下载paoding解析插件，解压后，把elasticsearch-analysis-paoding-master\config\下的paoding文件夹放置到%ES_HOME%/config下。


在java代码中使用es和paoding插件

1. 在项目中导入es及es-paoding的包；

2. 将paoding文件夹复制到根目录下的config下；

3. 在src目录下建立一个elasticsearch.yml文件，使其内容如下所示：

index:  
  analysis:                     
    analyzer:        
      paoding:  
          alias: [paoding_analyzer]  
          type: org.elasticsearch.index.analysis.PaodingAnalyzerProvider
4. java代码，当你只需要为一个字段建立索引，并通过这个字段查询时代码如下所示： 

import java.util.Iterator;
import java.util.Map;

import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.Requests;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.indices.IndexAlreadyExistsException;
import org.elasticsearch.node.Node;
import org.elasticsearch.node.NodeBuilder;
import org.elasticsearch.search.SearchHit;
import org.junit.BeforeClass;
import org.junit.Test;

/**
 * <p>
 * MyTest.java
 * </p>
 * <p>
 * </p>
 * 
 * @author $Author: Geloin $
 * @version $Revision: V5.1 $
 */
public class MyTest {

    private static Node node;

    @BeforeClass
    public static void beforeClass() {
        node = NodeBuilder.nodeBuilder().node();
    }

    /**
     * 
     * <p>
     * 创建索引
     * </p>
     * @author Geloin
     * Created [2012-12-29 下午5:38:22]
     * @throws Exception
     */
    @Test
    public void createIndex() throws Exception {

        Client client = node.client();
        try {

            try {
                // 预定义一个索引
                client.admin().indices().prepareCreate("app").execute().actionGet();
                
                // 定义索引字段属性
                XContentBuilder mapping = XContentFactory.jsonBuilder().startObject();
                mapping = mapping.startObject("title")
                                // 创建索引时使用paoding解析
                                .field("indexAnalyzer", "paoding")
                                // 搜索时使用paoding解析
                                .field("searchAnalyzer", "paoding")
                                .field("store", "yes")
                          .endObject();
                mapping = mapping.endObject();

                PutMappingRequest mappingRequest = Requests.putMappingRequest("app").type("article").source(mapping);
                client.admin().indices().putMapping(mappingRequest).actionGet();
            }
            catch (IndexAlreadyExistsException e) {
                System.out.println("索引库已存在");
            }

            // 生成文档
            XContentBuilder doc = XContentFactory.jsonBuilder().startObject();
            doc = doc.field("title", "java附魔大师");
            doc = doc.endObject();

            // 创建索引
            IndexResponse response = client.prepareIndex("app", "article", "1").setSource(doc).execute().actionGet();

            System.out.println(response.getId() + "====" + response.getIndex() + "====" + response.getType());
        }
        catch (Exception e) {
            e.printStackTrace();
        }
        finally {
            client.close();
        }
    }

    /**
     * 
     * <p>
     * 查询
     * </p>
     * @author Geloin
     * Created [2012-12-29 下午5:40:55]
     * @throws Exception
     */
    @Test
    public void search() throws Exception {
        Client client = node.client();
        try {
            QueryBuilder qb = QueryBuilders.termQuery("title", "大师");
            SearchResponse scrollResp = client.prepareSearch("app").setSearchType(SearchType.SCAN).setScroll(
                    new TimeValue(60000)).setQuery(qb).setSize(100).execute().actionGet();

            while (true) {
                scrollResp = client.prepareSearchScroll(scrollResp.getScrollId()).setScroll(new TimeValue(600000)).execute().actionGet();
                for (SearchHit hit : scrollResp.getHits()) {
                    Map<String, Object> source = hit.getSource();
                    if (!source.isEmpty()) {
                        for (Iterator<Map.Entry<String, Object>> it = source.entrySet().iterator(); it.hasNext();) {
                            Map.Entry<String, Object> entry = it.next();
                            System.out.println(entry.getKey() + "=======" + entry.getValue());

                        }
                    }

                }
                if (scrollResp.hits().hits().length == 0) {
                    break;
                }

            }
        }
        catch (Exception e) {
            e.printStackTrace();
        }
        finally {
            client.close();
        }

    }
}

将paoding加入es中的代码主要在定义索引字段属性时，代码如下所示： 

                // 定义索引字段属性
                XContentBuilder mapping = XContentFactory.jsonBuilder().startObject();
                mapping = mapping.startObject("title")
                                // 创建索引时使用paoding解析
                                .field("indexAnalyzer", "paoding")
                                // 搜索时使用paoding解析
                                .field("searchAnalyzer", "paoding")
                                .field("store", "yes")
                          .endObject();
                mapping = mapping.endObject();

5. 当你想为多个字段（例如一个实体的多个属性）建立索引并使用字段搜索时，代码如下所示：

import java.util.Date;
import java.util.Iterator;
import java.util.Map;
import java.util.UUID;

import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.Requests;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.elasticsearch.index.query.QueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.indices.IndexAlreadyExistsException;
import org.elasticsearch.node.Node;
import org.elasticsearch.node.NodeBuilder;
import org.elasticsearch.search.SearchHit;
import org.junit.BeforeClass;
import org.junit.Test;

/**
 * <p>
 * MyTest.java
 * </p>
 * <p>
 * </p>
 * 
 * @author $Author: Geloin $
 * @version $Revision: V5.1 $
 */
public class MyTest {

    private static Node node;

    @BeforeClass
    public static void beforeClass() {
        node = NodeBuilder.nodeBuilder().node();
    }

    /**
     * 
     * <p>
     * 创建索引
     * </p>
     * @author Geloin
     * Created [2012-12-29 下午5:38:22]
     * @throws Exception
     */
    @Test
    public void createIndex() throws Exception {

        Client client = node.client();
        try {

            try {
                // 预定义一个索引
                client.admin().indices().prepareCreate("app").execute().actionGet();
                
                // 定义索引字段属性
                XContentBuilder mapping = XContentFactory.jsonBuilder().startObject();
                mapping = mapping.startObject("article");
                mapping = mapping.startObject("id")
                                // 创建索引时使用paoding解析
                                .field("indexAnalyzer", "paoding")
                                // 搜索时使用paoding解析
                                .field("searchAnalyzer", "paoding")
                                .field("store", "yes")
                          .endObject();
                mapping = mapping.startObject("title")
                        // 创建索引时使用paoding解析
                        .field("indexAnalyzer", "paoding")
                        // 搜索时使用paoding解析
                        .field("searchAnalyzer", "paoding")
                        .field("store", "yes")
                        .endObject();
                mapping = mapping.startObject("createTime")
                        // 创建索引时使用paoding解析
                        .field("indexAnalyzer", "paoding")
                        // 搜索时使用paoding解析
                        .field("searchAnalyzer", "paoding")
                        .field("store", "yes")
                        .endObject();
                mapping = mapping.endObject();
                mapping = mapping.endObject();
                // type的值必须与第一个startObject("...")内的值相同，且必须有一个根目录，如article为根目录，id、title和createTime为子目录
                PutMappingRequest mappingRequest = Requests.putMappingRequest("app").type("article").source(mapping);
                client.admin().indices().putMapping(mappingRequest).actionGet();
            }
            catch (IndexAlreadyExistsException e) {
                System.out.println("索引库已存在");
            }

            String id = UUID.randomUUID().toString();
            // 生成文档
            XContentBuilder doc = XContentFactory.jsonBuilder().startObject();
            doc = doc.startObject("article");
            doc = doc.field("id", id);
            doc = doc.field("title", "java附魔大师");
            doc = doc.field("createTime", new Date());
            doc = doc.endObject();
            doc = doc.endObject();

            // 创建索引
            IndexResponse response = client.prepareIndex("app", "article", id).setSource(doc).execute().actionGet();

            System.out.println(response.getId() + "====" + response.getIndex() + "====" + response.getType());
        }
        catch (Exception e) {
            e.printStackTrace();
        }
        finally {
            client.close();
        }
    }

    /**
     * 
     * <p>
     * 查询
     * </p>
     * @author Geloin
     * Created [2012-12-29 下午5:40:55]
     */
    @Test
    public void search() throws Exception {
        Client client = node.client();
        try {
//            QueryBuilder qb = QueryBuilders.fieldQuery("title", "大师");
            QueryBuilder qb = QueryBuilders.fieldQuery("article.title", "大师");
            SearchResponse scrollResp = client.prepareSearch("app").setSearchType(SearchType.SCAN).setScroll(
                    new TimeValue(60000)).setQuery(qb).setSize(100).execute().actionGet();

            while (true) {
                scrollResp = client.prepareSearchScroll(scrollResp.getScrollId()).setScroll(new TimeValue(600000)).execute().actionGet();
                for (SearchHit hit : scrollResp.getHits()) {
                    Map<String, Object> source = hit.getSource();
                    if (!source.isEmpty()) {
                        for (Iterator<Map.Entry<String, Object>> it = source.entrySet().iterator(); it.hasNext();) {
                            Map.Entry<String, Object> entry = it.next();
                            System.out.println(entry.getKey() + "=======" + entry.getValue());

                        }
                    }

                }
                if (scrollResp.hits().hits().length == 0) {
                    break;
                }

            }
        }
        catch (Exception e) {
            e.printStackTrace();
        }
        finally {
            client.close();
        }

    }
}

在这种情况下，使用title和article.title查询的结果一致，当然，如果除了article.title，还有member.title，那么结果就不一样了。

Korbin Luo
关注
专栏目录
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——Spring整合Elasticsearch
xue_hua_c的博客
11-15 287
set是一个开关，读取系统的属性，这个属性是key,将key设置为false就不会检查这个，所以我们在服务器启动的时候设置为false。针对帖子的配置所以在DIscussPost中，通过注解配置@Document，实体中的属性和索引中的字段对用关系通过注解配置。response取到搜索数据，得到是SearchHits,如果hits为0，则没有数据。@Repository是Spring提供的针对数据访问层的注解。我们需要想办法将数据库中的帖子存放到ES的服务器中，然后去ES服务器中搜索帖子。
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——开发社区搜索功能
xue_hua_c的博客
11-16 228
查询帖子需要从数据库中查，即DiscussPostService中查找，从数据库中查找。数据库中查询帖子id,查询到帖子后，然后存储到ES服务器中就可以。实现搜索帖子，keyword关键字，current当前第几页。启动服务器的时候确保zookeeper和kafka是启动的。提供一个方法向ES服务器里提供新产生的帖子save。首先判断消息内容是否为空，格式是否错误。注入eventProduce，触发事件。发布评论是在comment。判断一下是否触发发帖事件。这个事件触发之后去消费。
集成Spring、Elasticsearch、paoding，将ES服务嵌入到Web程序
12-02
集成Spring、Elasticsearch、paoding，将ES服务嵌入到Web程序，详细项目过程可参见http://blog.csdn.net/geloin/article/details/17073759。
分布式搜索Elasticsearch——集成paoding-maping
xiaomin1991222的专栏
08-12 114
先做个记录，研究出来了，不记下来下次就不知道怎么处理了。 为es安装paoding插件 首先你得安装paoding插件，进入%ES_HOME%/bin，执行下列代码：   [java] view plaincopy plugin -install medcl/elasticsearch-analysis-paoding/1.0.0   接下来，在http...
分布式搜索 Elasticsearch —— 集成paoding（解析插件）
weixin_34174422的博客
12-14 98
为什么80%的码农都做不了架构师？>>> ...
分布式搜索Elasticsearch——项目过程（二）
村长Korbin
05-16 4931
步骤七：将elasticsearch-analysis-paoding-master项目中的config/paoding/dic文件夹复制到硬盘上的任一目录，假设为d:\dic；         步骤八：将elasticsearch-analysis-paoding-master项目中的config/paoding/paoding-analyzer.properties文件复制到esmple项目
分布式搜索Elasticsearch——项目过程（一）
mingtianhaiyouwo的博客
07-10 549
本文描述的是内嵌ES项目的开发，虽嵌入了Paoding分词器，但代码过程中暂未使用，故遇到针对paoding的步骤，可直接跳过。         技术描述：ElasticSearch0.20.6+Paoding。         技术环境：Eclipse、Maven         步骤一：下载并安排ElasticSearch，编写本文章时使用的是0.20.6版本，下载地址为：http://
分布式搜索引擎ElasticSearch思维导图
11-17
分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。...
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——Elasticsearch入门
xue_hua_c的博客
11-14 391
Restful是一种设计风格，这种风格规定了前后端应该按照什么标准交互，不同类型的Http的请求的请求的格式是什么样的，请求标准的一种描述。采用集群分布式部署，每一台服务器称为节点，分片是对索引的进一步划分，副本是对分片的备份。7.0的时候废弃掉了。ES中的文档和数据库中的表的一行，文档通常采用的是js结构，js中每一个属性叫字段。支持结构化的数据，非结构化的数据也可以，即各种类型的数据通过它都可以。具体的搜索条件可以通过body提交，通过请求体提交复杂的请求。ES中的类型和数据库中的table表想对应。
《学习资料》--SpringCloud微服务版本天天吃货在线购物平台集成分布式搜索ElasticSearch.zip
最新发布
04-19
集成Redis缓存、消息队列(RabbitMq、RocketMQ)、分布式搜索ElasticSearch 个人花大量时间整理出的实战资料，内容丰富，文档也很详细。无论做毕业设计还是用于学习技能，或工作中当做参考资料，都能发挥重要作用 亲们...
paoding-analysis6.2.1.jar
10-09
修改了paoding-analysis6的部分源码，使之支持lucene6.2.1
Paoding分词_庖丁分词_以及使用于_lucene_solr
fantaxy025025的专栏
01-25 137
在几个中文分词中，决定用paoding庖丁分词。 记录使用的一些问题和思路，慢慢更新。   与Lucene和Solr的结合及版本 待续     paoding分词的辞典定制 我的环境ubuntu，win下没有测试. 辞典路径配置： ＃1 paoding分词会优先找系统变量export PAODING_DIC_HOME作为辞典目录 ＃2 如果没有，则找类目录...
paoding--分词
淡若晨岚
11-17 381
import java.io.BufferedReader; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.io.StringReader; import java.util.ArrayList; import java.util.C
分布式搜索（elasticsearch）
qq_16268979的博客
03-30 3350
一、初始elasticsearch 1、了解ES （1）什么是elasticsearch？ 　　一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能。 　　 （2）什么是elastic stack（ELK）？ 　　是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch。 beats、Logstash：数据收集 kibana：图形展示 elasticsearch：数据存储、搜索的核心功能 （3）什么是Lucene? 　　是
微服务学习——分布式搜索
jihuaTEL的博客
05-03 933
ES官方提供了各种不同语言的客户端，用来操作ES。这些客户端的本质就是组装DSL语句，通过http请求发送给ES。官方文档地址: https://www.elastic.co/guide/en/elasticsearch/client/index.html。
庖丁（Paoding）分词的词典原理解析
yingbin920的博客
07-03 273
Paoding分词过程中词典是相关重要的一环，其特性主要有： （1）多词典支持，词典功能区分； （2）词典加载入内存使用，使用预加载和Lazy Mode模式； （3）根据分词模式，对词典进行二次编译； （4）词典变更侦测，当词典文件发生变化时，可以重新加载词典。 1.1     词典类型 庖丁中有多种词典，每一种词典在分词过程中都不有同的意义。主要的词典及其功能如下： （1）V...
配置paoding analysis
hzgzf的博客
05-22 215
在开源中文analysis，我选择了paoding analysis，link:http://code.google.com/p/paoding 配置如下： 在CLASSPATH 上面加入：E:\eclipse\paoding-analysis.properties 在用户变量加入：PAODING_DIC_HOME=》E:\dic 把dic文件，就是字词文本文件放到对应的目录。 测试代码： ...
paoding-rose源码（github）转eclipse项目
zjh1n795的专栏
11-06 2947
先从https://github.com/Qieqie/paoding-rose 下载rose源码 在
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值