【Elasticsearch】Elasticsearch ICU现在可以理解表情符号了!

最新推荐文章于 2023-06-29 21:21:27 发布
最新推荐文章于 2023-06-29 21:21:27 发布
阅读量291 收藏
点赞数
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch ICU 表情 符号 搜索
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/117788432
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
Elasticsearch 6.4引入了ICU数据和对表情符号的真正支持，改变了游戏规则。现在，表情符号如"�"被视为独立的令牌，影响使用icu_tokenizer的索引，需要重建。这一更新使得搜索引擎能够理解和处理表情符号，增强了搜索的相关性，例如在搜索披萨店时，用户可以输入"pizza"或"�"。要实现此功能，需要使用CLDR注释和自定义Token Filter将表情符号作为同义词添加。Elasticsearch 6.4简化了表情符号搜索，相比之前的方法，如使用空白标记器和字符过滤器，现在更加直接和有效。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

翻译：https://jolicode.com/blog/elasticsearch-icu-now-understands-emoji

ES 6.4中的这个简单变化可能会对你的指数产生你可能认为的更大的影响。

sticsearch 6.4与Lucene 7.4一同发布——这是官方发布的一个小标题，但如果你仔细观察，这个新版本发布了ICU数据和对emoji的真正支持。这将改变游戏规则😎(对某些人来说!)

Unicode的国际组件(ICU)是一个成熟的C/ c++和Java库支持Unicode，软件国际化和软件全球化的开源项目，它无处不在(在你的电脑，你的手机，甚至可能你的连接冰箱)。

的所有用法icu_tokenizer受到影响,这意味着每个人都使用必须需要icu_tokenizer应该重建索引,因为“🍕”现在是一个令牌!

2.安装

如下命令安装


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  九师兄
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
表情符号搜索：表情符号同义词可构建您自己的具有表情符号功能的搜索引擎（elasticsearch，solr）

				
			

			

				

					02-04
				

			

		

		

			
				
对Elasticsearch的表情符号，旗帜和表情符号支持
在任何与Lucene兼容的搜索引擎中添加对表情符号和标志的支持！
 如果您想搜索:doughnut:在文档中查找甜甜圈，那么您来对地方了。 该项目提供了可在Elasticsearch Analyzer中使用的同义词文件。
在Elasticsearch中索引表情符号的要求
版
要求
Elasticsearch> = 6.7
 标准标记器现在可以理解表情符号 :party_popper: 感谢无需插件！
 Elasticsearch> = 6.4和<6.7
 您需要安装官方的。 请参阅我们的。
 Elasticsearch <6.4
 您需要我们的，请参阅我们的（2016）。
 运

			
		

	



                

              
                



	

		

			

				
					
Elasticsearch根据自定义符号分词

				
			

			

				

					alex的博客
				

				

					06-20
					
					6094
					
				

			

		

		

			
				
1、新建索引{
  "settings": {
    "index": {
    "number_of_shards": "5",    "number_of_replicas": "1",      "mappings": {        "myType": {          "properties": {      

			
		

	



                


  
              

                


	

		

			

				
					
Elasticsearch：如何实现对 emoji 表情符号进行搜索

				
			

			

				

					wyisgoodman的博客
				

				

					08-19
					
					1070
					
				

			

		

		

			
				
Elasticsearch 是一个应用非常广泛的搜索引擎。它可以对文字进行分词，从而实现全文搜索。在实际的使用中，我们会发现有一些文字中包含一些表情符号，比如笑脸，动物等等，那么我们该如何对这些表情符号来进行搜索呢？
???? => ????, light skin tone, skin tone, type 1–2
???? => ????, medium-light skin tone, skin tone, type 3
???? => ????, medium skin tone,

			
		

	





	

		

			

				
					
ElasticSearch 设置自定义过滤器，查询时过滤标点符号

				
			

			

				

					zhangjiaxx的博客
				

				

					06-29
					
					565
					
				

			

		

		

			
				
es集群存在一个旧表 my_test_v1.0, 该表存在一个字段 testContent，存在中英文混合以及标点符号，   例如: cooperation.测试中国,<a，。1.短语匹配查询 QueryBuilders.matchPhraseQuery()；2. wildcard 模糊查询；1. 设置自定义过滤器。2.  #填加索引结构。3. 自定义过滤器；

			
		

	



		

			
		



	

		

			

				
					
elasticsearch 特殊符号 UncategorizedElasticsearchException

				
			

			

				

					hello world
				

				

					02-07
					
					2235
					
				

			

		

		

			
				
UncategorizedElasticsearchException的原因之一是：你输入了特殊符号，elasticsearch就会报异常。
解决方法就是转义。
    @Override
    public Page<EsAnswer> search(String keyword, Integer pageNum, Integer pageSize) {
        // 转义
        keyword = QueryParser.escape(keyword);

调用Query

			
		

	





	

		

			

				
					
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端

				
			

			

				

					06-20
				

			

		

		

			
				
**Elasticsearch查询客户端与可视化工具*...总之，Elasticsearch查询客户端和可视化工具是提升ES操作效率和理解力的重要工具。正确选择和使用这些工具，能帮助开发者更好地管理和利用存储在Elasticsearch中的海量数据。

			
		

	





	

		

			

				
					
ES客户端+谷歌浏览器插件+Multi-Elasticsearch-Head

					
最新发布

				
			

			

				

					06-30
				

			

		

		

			
				
使用Multi-Elasticsearch-Head，管理员或开发者可以轻松地查看和对比不同集群的状态、性能指标以及数据分布，这对于分布式系统监控和故障排查特别有用。它通常提供了一种直观的方式来查看索引结构、执行查询语句、...

			
		

	





	

		

			

				
					
es-head Elasticsearch的可视化操作插件

				
			

			

				

					12-19
				

			

		

		

			
				
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。  es-head 插件可以在...

			
		

	





	

		

			

				
					
ES查询客户端，elasticsearch可视化工具

				
			

			

				

					06-24
				

			

		

		

			
				
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...

			
		

	





	

		

			

				
					
elasticsearch7.17.11版本分词器插件安装包

				
			

			

				

					11-13
				

			

		

		

			
				
现在，你可以向这个索引中插入包含中文的文档，并通过Elasticsearch的 `_analyze` API来检查分词结果：  ```bash GET /my_index/_analyze {  "analyzer": "my_analyzer",  "text": "这是一段测试文本" } ```  以上...

			
		

	





	

		

			

				
					
【ElasticSearch】IK分词加入标点符号

				
			

			

				

					九师兄
				

				

					06-23
					
					1359
					
				

			

		

		

			
				
1.概述
转载并且补充：https://blog.csdn.net/loyopp/article/details/47758247
IK分词默认的分词结果是没有标点符号的，看了一番源码。发现直接修改源代码加入标点需要改动多处。
所以想到了一个策略，从外部包一层代码，先让ik分词，然后检测它的前后是否有遗漏符号，然后将符号加入分词结果中。
当然，大家如果有好的方法，请上交！
下边是源码部分：
maven依赖
    <!--<dependency>-->
            &l.

			
		

	





	

		

			

				
					
ElasticSearch之ICU分词器

				
			

			

				

					★【World Of Moshow 郑锴】★
				

				

					08-13
					
					5869
					
				

			

		

		

			
				
分词器
分词器 接受一个字符串作为输入，将 这个字符串拆分成独立的词或 语汇单元（token） （可能会丢弃一些标点符号等字符），然后输出一个 语汇单元流（token stream） 。
一个analyzer分词器包含三个部分：

character filter：分词之前的预处理，过滤掉HTML标签、特殊符号转换等。
tokenizer：分词
token filter：标准化

ES内置分词器
...

			
		

	





	

		

			

				
					
离线搭建ES集群 + Kibana + icu/IK分词器

				
			

			

				

					qq_28299327的博客
				

				

					06-14
					
					541
					
				

			

		

		

			
				
经过分析，发现是因为ES所在服务器磁盘空间太低引起，具体解决方案如下：任选一, 我是使用方案二解决的!一旦在存储超过95％的磁盘中的节点上分配了一个或多个分片的任何索引，该索引将被强制进入只读模式。找到es的配置文件 elasticsearch.yml，把存储数据的路径改为其它空间比较大的盘符。创建挂载配置文件 /data/kibana/config/kibana.yml。进入到plugins目录中下载分词器，下载完成后然后解压，再重启es即可。kibana开发控制台执行。拉取kibana镜像。

			
		

	





	

		

			

				
					
ElasticSearch搜索引擎教程—＞实战篇 9：Elasticsearch7.x使用ICU分词插件

				
			

			

				

					常年被追砍的博客
				

				

					07-26
					
					680
					
				

			

		

		

			
				
1、查看当前已经安装的分词插件


[elasticsearch@txvm2019 bin]$ ./elasticsearch-plugin list

analysis-icu

analysis-ik

引用网上对ICU分词的介绍：
ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上，ICU的目的是增加对Unicode和全球化的支持，以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看，此插件提供了文本分析中的新组件，如下

			
		

	





	

		

			

				
					
elasticsearch分词器安装

				
			

			

				

					qq_43654142的博客
				

				

					11-30
					
					456
					
				

			

		

		

			
				
1.序言
elasticsearch区别去其他存储工具的一大特色就是其强大的搜索机制，至于其具体的搜索机制运作问题我们这里不做讲解，本篇主要讲解icu分词器与ik（中文分词器）。
2.ick分词器（针对亚洲多语种）安装
（1）进入ES的bin目录：cd /usr/local/elasticsearch-6.4.2/bin利用elasticsearch-plugin工具进行安装icu分词


在el...

			
		

	





	

		

			

				
					
ElasticSearch检索时特殊字符处理

					
热门推荐

				
			

			

				

					gong_yangyang的博客
				

				

					08-23
					
					4万+
					
				

			

		

		

			
				
ElasticSearch检索时，出现特殊字符而没有做正确的处理，那么ElasticSearch将无法识别这条检索语句，则会抛出异常，此时就的对检索语句进行转义；

			
		

	





	

		

			

				
					
Elasticsearch7.x使用(五) ICU分词插件

				
			

			

				

					漫天雪_昆仑巅
				

				

					05-08
					
					7049
					
				

			

		

		

			
				
1、查看当前已经安装的分词插件


[elasticsearch@txvm2019 bin]$ ./elasticsearch-plugin list
analysis-icu
analysis-ik

引用网上对ICU分词的介绍：
ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上，ICU的目的是增加对Unicode和全球化的支持，以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看，此插件提供了文本分析中的新组件，如下表所

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
九师兄

			
你的鼓励是我做大写作的动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值