基于阿里云ElasticSearch的远程分词配置

最新推荐文章于 2022-01-27 23:19:48 发布
最新推荐文章于 2022-01-27 23:19:48 发布
阅读量1.5k 收藏 3
点赞数 3
分类专栏： 搜索优化 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/longer201710/article/details/104064761
版权

1、对于自建ElasticSearch的分词配置相信大家都知道了，不多说

地址

2、对于购买的阿里云ElasticSearch服务，要用api远程调整分词配置

条件和步骤：
1、首先购买阿里云的OSS服务，创建存储空间，这个费用不高，只收取存储和上传下载费用
2、引入依赖jar包，开发上传文件到OSS的接口

		<!-- ik分词通过oss维护 start-->
		<dependency>
			<groupId>com.aliyun.oss</groupId>
			<artifactId>aliyun-sdk-oss</artifactId>
			<version>3.8.0</version>
		</dependency>

		<dependency>
			<groupId>com.aliyun</groupId>
			<artifactId>aliyun-java-sdk-elasticsearch</artifactId>
			<version>3.0.11</version>
		</dependency>

		<dependency>
			<groupId>com.aliyun</groupId>
			<artifactId>aliyun-java-sdk-core</artifactId>
			<optional>true</optional>
			<version>4.4.2</version>
		</dependency>
		<!-- ik分词通过oss维护 end-->

3、开发通知elasticsearch热更新IK分词插件的接口
4、使用过程为，先调用上传文件接口更新字典，再调用通知接口刷新


import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.GetObjectRequest;
import com.aliyun.oss.model.OSSObject;
import com.aliyuncs.DefaultAcsClient;
import com.aliyuncs.elasticsearch.model.v20170613.UpdateHotIkDictsRequest;
import com.aliyuncs.http.FormatType;
import com.aliyuncs.http.HttpResponse;
import com.aliyuncs.profile.DefaultProfile;
import com.aliyuncs.profile.IClientProfile;
import com.oa.common.error.exception.OaBusinessException;
import com.oa.common.util.DateUtil;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;

import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.io.*;

/**
 * 功能: ElasticSearch分词字典热更新<br/>
 *
 * @author ql
 * @create 2020-01-21 14:06
 **/
@Slf4j
@RestController
@RequestMapping
public class ElasticIkDictEndpoint {

    /**
     * endpoint是访问OSS的域名
     */
    @Value("${oss.endpoint}")
    private String endpoint;
    /**
     * 阿里云平台访问key
     */
    @Value("${oss.accessKeyId}")
    private String accessKeyId;
    /**
     * 阿里云平台访问Secret
     */
    @Value("${oss.accessKeySecret}")
    private String accessKeySecret;
    /**
     * 存储空间
     */
    @Value("${oss.bucketName}")
    private String bucketName;
    /**
     * oss存储目录
     */
    @Value("${oss.fileDir}")
    private String fileDir;

    /**
     * es地域
     */
    @Value("${elasticsearch.regionId}")
    private String regionId;
    /**
     * es实例
     */
    @Value("${elasticsearch.instanceId}")
    private String esInstanceId;
    /**
     *  阿里云Elasticsearch API的服务接入地址（Endpoint）
     *
     * | 华东1(杭州) | elasticsearch.cn-hangzhou.aliyuncs.com |
     * | 华东2(上海) | elasticsearch.cn-shanghai.aliyuncs.com |
     */
    @Value("${elasticsearch.domain}")
    private String esDomain;

    /**
     * ik主分词文件名称，需要和es插件配置上的文件名一致，否则会导致es实例重启
     */
    @Value("${elasticsearch.ikword}")
    private String mainFileName;

    /**
     * ik停止词文件名称，需要和es插件配置上的文件名一致，否则会导致es实例重启
     */
    @Value("${elasticsearch.stopword}")
    private String stopFileName;

    /**
     * 功能: 上传es分词文件<br/>
     *
     * @author ql
     * @create 2019/12/25 18:34
     * @param file 上传文件
     * @param wordType 分词类型：MAIN -IK主分词词库；STOP-IK停用词库
     * @return java.lang.String
     **/
    @PostMapping("/es/ikWords/upload")
    public String uploadIkDict2Oss(@RequestParam("file") MultipartFile file,@RequestParam("wordType") String wordType) throws Exception{

        log.info("OSS文件开始上传，时间={}", DateUtil.getTime());

        String fileName = "";
        switch (wordType){
            case "MAIN" :
                fileName = mainFileName;
                break;
            case "STOP" :
                fileName = stopFileName;
                break;
            default:
                throw new OaBusinessException("分词类型不对。");

        }

        // 生成OSSClient，您可以指定一些参数，详见“SDK手册 > Java-SDK > 初始化”，
        // 链接地址是：https://help.aliyun.com/document_detail/oss/sdk/java-sdk/init.html?spm=5176.docoss/sdk/java-sdk/get-start
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);

        try {
            // 判断Bucket是否存在。详细请参看“SDK手册 > Java-SDK > 管理Bucket”。
            // 链接地址是：https://help.aliyun.com/document_detail/oss/sdk/java-sdk/manage_bucket.html?spm=5176.docoss/sdk/java-sdk/init
            if (ossClient.doesBucketExist(bucketName)) {
                log.debug("您已经创建Bucket：{}" , bucketName );
            } else {
                log.info("您的Bucket不存在，创建Bucket：{}" , bucketName );
                // 创建Bucket。详细请参看“SDK手册 > Java-SDK > 管理Bucket”。
                // 链接地址是：https://help.aliyun.com/document_detail/oss/sdk/java-sdk/manage_bucket.html?spm=5176.docoss/sdk/java-sdk/init
                ossClient.createBucket(bucketName);
            }

            //存入oss的url
            String ossFileUrl = fileDir + fileName;
            // 上传文件流。
            ossClient.putObject(bucketName, ossFileUrl, file.getInputStream());
            log.info("Object：" + fileName + "存入OSS成功。");

        } catch (OSSException oe) {
            log.error("OSS文件上传失败，error={}",oe.getMessage(),oe);
            return "failure";
        } catch (ClientException ce) {
            log.error("OSS文件上传失败，error={}",ce.getMessage(),ce);
            return "failure";
        } catch (Exception e) {
            log.error("OSS文件上传失败，error={}",e.getMessage(),e);
            return "failure";
        } finally {
            ossClient.shutdown();
            log.debug("============流关闭===============");
        }

        log.info("OSS文件上传成功，时间={}", DateUtil.getTime());
        return "success";
    }

    /**
     * 功能: 下载分词文件<br/>
     *
     * @author ql
     * @create 2020/01/21 19:34
     * @param response
     * @param wordType 分词类型：MAIN -IK主分词词库；STOP-IK停用词库
     * @return java.lang.String
     **/
    @GetMapping("/es/ikWords/download")
    public String downloadIkDict2Oss(HttpServletResponse response, @RequestParam("wordType") String wordType) throws  Exception{

        log.info("OSS文件开始下载，时间={}", DateUtil.getTime());

        String fileName = "";
        switch (wordType){
            case "MAIN" :
                fileName = mainFileName;
                break;
            case "STOP" :
                fileName = stopFileName;
                break;
            default:
                throw new OaBusinessException("分词类型不对。");

        }

        // 生成OSSClient，您可以指定一些参数，详见“SDK手册 > Java-SDK > 初始化”，
        // 链接地址是：https://help.aliyun.com/document_detail/oss/sdk/java-sdk/init.html?spm=5176.docoss/sdk/java-sdk/get-start
        OSS ossClient = new OSSClientBuilder().build(endpoint, accessKeyId, accessKeySecret);
        //oss的url
        String ossFileUrl = fileDir + fileName;

        OSSObject object = ossClient.getObject(new GetObjectRequest(bucketName, ossFileUrl));
        response.setContentType("application/binary;charset=UTF-8");
        response.setHeader("Content-disposition", "attachment; filename=" + fileName);
        BufferedInputStream bis = null;
        OutputStream out = null;
        try {
            // 实现文件下载
            byte[] buffer = new byte[1024];
            bis = new BufferedInputStream(object.getObjectContent());
            out = response.getOutputStream();
            int i = bis.read(buffer);
            while (i != -1) {
                out.write(buffer, 0, i);
                i = bis.read(buffer);
            }

            log.info("Object：" + fileName + "下载成功。");

        } catch (OSSException oe) {
            log.error("OSS文件下载失败，error={}",oe.getMessage(),oe);
            return "failure";
        } catch (ClientException ce) {
            log.error("OSS文件下载失败，error={}",ce.getMessage(),ce);
            return "failure";
        } catch (Exception e) {
            log.error("OSS文件下载失败，error={}",e.getMessage(),e);
            return "failure";
        } finally {
            ossClient.shutdown();
            if(bis != null){
                bis.close();
            }
            if(out != null){
                out.close();
            }
            log.debug("============流关闭===============");
        }

        log.info("OSS文件下载成功，时间={}", DateUtil.getTime());
        return "success";
    }

    /**
     * 功能: 刷新es的字典<br/>
     *
     * @author ql
     * @create 2020/01/21 19:09
     * @return java.lang.String
     **/
    @GetMapping("/es/ikWords/refresh")
    public String refreshIKDictFromOss() throws Exception{

        //针对上海区域的阿里云ES实例
        IClientProfile profile = DefaultProfile.getProfile(regionId,accessKeyId, accessKeySecret);

        //添加自定义endpoint。
        DefaultProfile.addEndpoint(regionId,"elasticsearch", esDomain);
        DefaultAcsClient client = new DefaultAcsClient(profile);

        // updating es hot ik dicts
        log.info(" Start updating es hot ik dicts...");
        UpdateHotIkDictsRequest updateHotIkDictsRequest = new UpdateHotIkDictsRequest();
        updateHotIkDictsRequest.setAcceptFormat(FormatType.JSON);
        updateHotIkDictsRequest.setInstanceId(esInstanceId);

        JSONObject mainObject = this.buildJSONObject(mainFileName, "MAIN", bucketName, fileDir + mainFileName);
        JSONObject stopObject = this.buildJSONObject(stopFileName, "STOP", bucketName, fileDir + stopFileName);

        JSONArray jsonArray = new JSONArray();
        jsonArray.add(mainObject);
        jsonArray.add(stopObject);

        String content = JSONArray.toJSONString(jsonArray);
        log.info("刷新es的字典，请求内容："+content);
        updateHotIkDictsRequest.setHttpContent(content.getBytes(), "UTF-8", FormatType.JSON);

        try {

            HttpResponse response = client.doAction(updateHotIkDictsRequest);

            log.info("刷新时间={},status={},result={}",DateUtil.getTime(),response.getStatus(),response.getHttpContentString());

        } catch (ClientException e) {
            log.error("======刷新es的字典失败============{}",e.getMessage(),e);
            return "failure";
        }

        return "success";
    }
    /**
     * 功能: 组装请求报文 <br/>
     *
     * @author ql
     * @create 2020/01/21 19:33
     * @param fileName 文件名称
     * @param type 文件类型：IK主分词词库取值为MAIN，如果是作为IK停用词库取值为STOP
     * @param bucketName 桶名称
     * @param key oss中的对应IK热词典文件路径
     * @return com.alibaba.fastjson.JSONObject
     **/
    private JSONObject buildJSONObject(String fileName, String type, String bucketName, String key) {

        JSONObject object = new JSONObject();
        //name参数表示上传对应文件的文件名。
        object.put("name", fileName);
        //type参数值，如果是作为IK主分词词库取值为MAIN，如果是作为IK停用词库取值为STOP。
        object.put("type", type);
        //sourceType参数表示数据源类型，例如此处取值为OSS。
        object.put("sourceType", "OSS");

        JSONObject ossObject = new JSONObject();
        //bucketName参数表示OSS数据源中的project名称
        ossObject.put("bucketName", bucketName);
        //key参数值表示oss中的对应IK热词典文件路径
        ossObject.put("key", key);
        //etag是对这个文件中的内容的md5值，可以取MD5后的32位大写数值，用来比对是否和上次的内容有差异，如果有差异或做更新。
//        ossObject.put("etag","35C44BC0C7AFF5AE6E73B195F933810E");
        //OSS中的热词文件需要有公共读权限。
        object.put("ossObject", ossObject);
        return object;
    }


}
危在旦夕
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里云服务器，elasticsearch，kibana，ik分词器碎碎念。
新新
11-05 490
此处没有安装步骤，安装过程挺简单，开箱即用，只是安装过程有一些坑，此处只有碎碎念，随记。 目录 0、前述。 1、部署过程的一些问题。 2、搜索使用的技术。 3、freenom域名。 4、部分代码。 0、前述。 趁着双11优惠，弄了一台1核2G的阿里云服务器，琢磨着部署点什么东西上去，刚好最近在学elasticsearch，就把做的一个搜索部署上去好了。 访问地址： 效果图： 1、部署过程的一些问题。 （1）elasticsearch、kibana、IK分词器，三者..
go基于阿里云实现中文分词
一个菜鸟的博客
03-17 1504
API介绍 由于阿里云服务SDK方式调用只提供了JAVA和Python,用go就只能使用普通HTTP请求调用 阿里云NLP基础服务 API概览 获取AccessKey 中文分词(基础版)API 公共参数每个接口都需要使用的请求参数(公共参数概览);公共参数大多参数都给了对应的取值.唯一一个Signature(签名结果串)比较复杂(签名机制),其他的参数全部都拼接到地址后面就可以了 代码 package main import ( "crypto/hmac" "crypto/sha1" "enc
AliNLP架构
热门推荐
qrlhl的博客
11-16 1万+
AliNLP 自然语言技术平台阿里AliNLP系统架构图 1. 词法分析（分词、词性、实体）： - 算法：基于Bi-LSTM-CRF算法体系，以及丰富的多领域词表 2. 句法分析（依存句法分析、成分句法分析）： - 算法：Shift-reduce，graph-based，Bi-LSTM - 应用：资讯搜索、评价情感分析 3. 情感分析（情感对象、情感属性、情感属性关联）： - 算法：情
Elasticsearch系列---使用中文分词器
qq_38473097的博客
06-29 2293
前言 前面的案例使用standard、english分词器，是英文原生的分词器，对中文分词支持不太好。中文作为全球最优美、最复杂的语言，目前中文分词器较多，ik-analyzer、结巴中文分词、THULAC、NLPIR和阿里的aliws都是非常优秀的，我们以ik-analyzer作为讲解的重点，其它分词器可以举一反三。 概要 本篇主要介绍中文分词器ik-analyzer的安装使用、自定义词库以及热更新方案。 分词器插件安装 我们Elasticsearch 6.3.1版本为例，集成IK分词器，其他的
2019阿里校招题--智能分词--Java解
跳币上山岭的博客
09-07 372
今天又帮师兄们去做题了！这个题虽然不难但是还是比较费时间的。 一共两个题，到截止时间我才做出了第一题的一半，第二题都没看一眼，听其他人说第二题看都看不懂。。 把实现的java解和思路贴一下，只实现了功能，性能什么的没测试也没优化，感觉可能会超时。   题目：智能分词 分词是指将一个字符串分割成词语序列，其中所有词语都来自事先指定的词汇表。例如： 有字符串"github"，以及词汇表["...
阿里云ECS实例设置用户root密码和远程连接的方法
09-14
阿里云ECS（Elastic Compute Service）是一种云计算服务，提供了可弹性伸缩的虚拟服务器，让用户可以在云端构建、运行和管理应用程序。在初次使用或忘记密码的情况下，设置或重置root密码是必要的步骤，以便能够对...
阿里云Elasticsearch7.x jar包.zip
08-21
阿里云Elasticsearch 7.x版本是一个高度可扩展的开源全文搜索引擎，基于Lucene构建，设计用于处理大量数据并提供实时分析。Elasticsearch不仅是一个搜索引擎，还是一个数据分析和存储平台，广泛应用于日志分析、监控...
藏经阁-阿里云Elasticsearch 2.0发布.pdf
最新发布
08-28
阿里云Elasticsearch 2.0还集成了阿里NLP分词器，可以对中文文本进行高效的分词处理。该分词器可以处理超过700MB的默认词库，支持词库热更新。该功能可以大大提高搜索和分析的准确性和效率。 KMS 阿里云Elastic...
07-基于阿里云构建数据仓库.rar
10-06
3. **Elasticsearch**：一种实时的分布式搜索和分析引擎，可用于日志分析、监控和数据可视化，是构建数据仓库中实时查询和分析的常用工具。 4. **DataHub**：阿里云的数据流服务，用于实时数据接入和交换，可以将...
阿里云Elasticsearch2.0发布.pdf
07-17
2019云栖大会-阿里云Elasticsearch2.0发布，推出云端ES的新特性，鼓励大家使用公有云的Paas服务
golang使用阿里云api进行中文分词
polarday的博客
01-27 1009
golang使用阿里云api进行中文分词 笔者刚开始学习go语言，代码有些地方不是很规范而且冗余较多，肯定不是最优的方法，但最终也实现了中文分词，但是不知道什么原因有的时候运行可能会出错，多运行几次即可。 这里我使用的是通过发送http请求来调用 主要在于签名的获取，其他的参数拼接到url上即可 代码参考的是官方签名机制文档下的python代码——签名机制 第一步： 注册阿里云账号，获取AccessKey,这里可参考官方文档API使用方法API使用方法 第二步： 先保存公共参数和api对应参数，具体参数
Elasticsearch ansj的停用词设置
点滴记录，积流成河！
08-15 2423
1. 配置方法 1.1 修改elasticsearch.yml配置文件： - 打开启用停用词开关 enabled_stop_filter: true ##是否基于词典过滤 - 配置停用词文件路径： 注意这里必须是相对于 elasticsearch.yml配置文件 位置的 相对路径。  stop_path: "../dic_stop/stop.dic" ##停止过滤词典   1.2 放置...
ES总结（三）停词，同义词配置
大鸡腿的博客
08-18 1404
目录 前言 搜索 停词配置 同义词 如何实现动态配置同义词呢？ 意义 前言 上次总结了es的搜索匹配算法等等，这次总结一下在es搜索的时候是将词语进行分词，那么我们如何让es更好的分词？ 搜索 上一篇实践搜索优化 停词配置 设置了之后不会出现类型的词语 一般采用ik插件进行分词，具体百度，就是下载下来之后解压到es plugins/ik目录下 看下IKAnalyzer....
es 使用ik停词_elasticsearch 中文停用词设置
weixin_39927993的博客
12-21 3315
elasticsearch 中文停用词设置在使用 elasticsearch 进行搜索的时候，经常会发现一篇和搜索关键字完全不匹配的文章排在最前面。它可能就被 ik_max_word 分词后，刚好就有类似 "的" 这样的无意义词，导致造成一篇含有很多无意义词的文章得到一个较高的评分。那么一个有效的解决办法就是对这些无意义的词——停用词进行屏蔽。解决方案如果你使用 ik 中文分词器，它默认设置的停用...
springboot基于Elasticsearch6.x版本进行ES同义词、停用词（停止词）插件配置，远程词典热加载及数据库词典热加载总结，es停用词热更新，es同义词热更新
like_java_的博客
07-16 4295
前言：ES版本差异较大，建议跨版本的同学，可以先了解一下版本区别，建议不要跨版本使用插件或者进行项目调试。 本总结主要基于6.x版本的6.5.1（6.2.2实测可用)，分词器为IK，下载地址：https://github.com/medcl/elasticsearch-analysis-ik 不做ES入门普及，直入正题。 ES操作系统：win10（如ES部署在linux，相应操作需调整） ...
ElasticSearch IK分词器配置远程词典
weixin_46273997的博客
08-09 3065
ElasticSearch IK分词器配置远程词典1.在线安装IK分词器2.IK分词器的弊端3.解决措施,配置远程词典实时更新补充 1.在线安装IK分词器 ElasticSearch中默认的分词器是standard,该分词器对中文按字分词,对英文按单词分词 GET /_analyze { "text": "我是一个杠精,hello world!" } 结果 { "tokens" : [ { "token" : "我", "start_offset" : 0,
阿里巴巴搜索系统总结（三）
zzmc的专栏
09-15 2506
一和二在另一套博客上。 这次总结只是为了更深入了解一下阿里搜索系统。 阿里离线系统 分为 一淘搜索前端，商品搜索引擎 和产品搜索引擎。  另外还有 一淘商品库  标类产品库 。 流程大概是， 1.从淘宝内部和外网商品以及合作商家那里获取到商品 后倒入数据库。 2.进行 同款聚合（去重吧）合成半标类和标类 。 3.pbullder进行处理后倒入到飙泪产品库。 4.前
关键词分词工具_运用表格宏对阿里国际站关键词库进行分组
weixin_39572288的博客
12-15 1010
大家做阿里巴巴国际站的平台运营，建立关键词词库是非常重要的一个环节。当你收集了几千甚至上万个关键词的时候，如何对keywords进行快速的分门罗类呢? 关键词分类是重要的一个环节，你需要知道不同的关键词有不同的词根，不同的属性，不同的使用场景。比如产品的属性词和使用场景词，就是词的两种使用方向。所以我们很有必要使用关键词分词工具，对手头的关键词进行分类分库，为主的祥助这里给大家分享一个一键...
python用中文怎么说-如何用Python做中文分词？
weixin_37988176的博客
11-01 163
打算绘制中文词云图？那你得先学会如何做中文文本分词。跟着我们的教程，一步步用Python来动手实践吧。需求在《如何用Python做词云》一文中，我们介绍了英文文本的词云制作方法。大家玩儿得可还高兴？文中提过，选择英文文本作为示例，是因为处理起来最简单。但是很快就有读者尝试用中文文本做词云了。按照前文的方法，你成功了吗？估计是不成功的。因为这里面缺了一个重要的步骤。观察你的英文文本。你会发现英文单词...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值