中文，拼音分词使用练习记录

最新推荐文章于 2019-06-14 09:03:35 发布
最新推荐文章于 2019-06-14 09:03:35 发布
阅读量201 收藏
点赞数
分类专栏： elasticsearch 搜索引擎 es 文章标签： es 分词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39750658/article/details/87978109
版权

#删除索引

DELETE tt

#设置全局属性

PUT tt
{
  "settings": {
        "analysis": {
            "analyzer": {
                "ik_smart_pinyin": {
                    "type": "custom",
                    "tokenizer": "ik_smart",
                    "filter": ["my_pinyin"]
                },
                "ik_max_word_pinyin": {
                    "type": "custom",
                    "tokenizer": "ik_max_word",
                    "filter": ["my_pinyin"]
                }
            },
            "filter": {
                "my_pinyin": {
        "keep_joined_full_pinyin": "true",
        "lowercase": "true",
        "none_chinese_pinyin_tokenize": "false",
        "keep_none_chinese_in_joined_full_pinyin": "true",
        "keep_original": "false",
        "remove_duplicated_term": "true",
        "keep_first_letter": "false",
        "keep_separate_first_letter": "false",
        "type": "pinyin",
        "limit_first_letter_length": "16",
        "keep_full_pinyin": "false"
        
                }
            }
        }
  }
    
}

#测试全局属性

 GET tt/_analyze
    {
      "text":"翻哩",
      "analyzer":"ik_max_word_pinyin"
    }

GET tt/_analyze
{
  "text":": 2g",
  "analyzer":"ik_max_word_pinyin"
}

#新建映射

POST tt/entry/_mapping
{
  "entry": {
    "properties": {
      "author": {
        "type": "keyword",
        "store": true
      },
      "content": {
        "type": "text",
        "store": true,
        "analyzer": "ik_max_word_pinyin"
      },
      "createTime": {
        "type": "date",
        "store": true,
        "format": "yyyy-MM-dd'T'HH:mm:ss||yyyy-MM-dd"
      },
      "fondsId": {
        "type": "keyword",
        "store": true
      },
      "mgtLevel": {
        "type": "keyword",
        "store": true
      },
      "nodeId": {
        "type": "keyword",
        "store": true
      },
      "other": {
        "type": "text",
        "store": true
      },
      "tag": {
        "type": "text",
        "store": true
      },
      "title": {
        "type": "text",
        "store": true,
        "analyzer": "ik_max_word_pinyin"
      },
      "updateTime": {
        "type": "date",
        "store": true,
        "format": "yyyy-MM-dd'T'HH:mm:ss||yyyy-MM-dd"
      },
      "view": {
        "type": "text",
        "store": true
      }
    }
  }
    
}

#查看全局设置

GET tt/_settings

#写值

PUT tt/entry/1
{
  "id":106996,
  "title":"431101199607116477(431101199607116477)",
  "content":"43110s",
  "fondsId":299
}

#测试另一种映射

POST tt/entry/_mapping
{
  "entry":{
    "properties":{
      "id":{
        "type":"keyword",
        "store":true
      },
      "name":{
        "type":"text",
        "store":true,
        "analyzer":"ik_smart_pinyin"
      },
      "content":{
        "type":"text",
        "store":true,
        "analyzer":"ik_smart"
      }
    }
  }
}

#查看映射

GET tt/_mapping

#删除索引库

DELETE test

#创建索引库

PUT test

#配置全局映射：默认+动态模板

PUT _template/global_template
{
  "template": "*",
  "settings": {"number_of_shards": 1},
  "mappings": {
    "_default_": {
      "_all":{
        "enabled":false
      },
      "dynamic_templates":[
        {
          "string_as_text":{
            "match_mapping_type":"string",
            "match":"*_text",
            "mapping":{
              "type":"text",
              "analyzer":"ik_max_word",
              "search_analyzer":"ik_max_word",
              "fields":{
                "row":{
                  "type":"keyword",
                  "ignore_above":256
                }
              }
            }
          }
        },{
          "string_as_keyword":{
            "match_mapping_type":"string",
            "mapping":{
              "type":"keyword"
            }
          }
        }
      ]
    }
  }
}

#删除类型映射

DELETE test/_mapping/user

#做类型映射

POST test/_mapping/user
{
  "user":{
    "properties":{
      "id":{
        "type":"long"
      },
      "userAll":{
        "type":"text",
        "analyzer":"ik_smart"
      },
      "name":{
        "type":"keyword"
      },
      "info":{
        "type":"text",
        "analyzer":"ik_smart",
        "search_analyzer":"ik_smart",
        "copy_to":"userAll"
      }
    }
  }
}

#查看类型映射

GET test/_mapping/user

#添加数据

PUT test/user/1
{
  "id":"1",
  "name":"张三丰",
  "info":"张三丰，名君宝（又名全一），字符元，道号三丰。"
}

#根据索引查看

GET test/user/1

#查询

GET test/user/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "info": "君宝"
          }
        }
      ]
    }
  }
}

#细粒度分词

POST _analyze
{
  "analyzer": "ik_smart",
  "text": "ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开..."
}

#最大拆分分词

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开..."
}

#删除索引库

DELETE test

#创建索引库

PUT test

#配置全局映射：默认+动态模板

PUT _template/global_template
{
  "template": "*",
  "settings": {"number_of_shards": 1},
  "mappings": {
    "_default_": {
      "_all":{
        "enabled":false
      },
      "dynamic_templates":[
        {
          "string_as_text":{
            "match_mapping_type":"string",
            "match":"*_text",
            "mapping":{
              "type":"text",
              "analyzer":"ik_max_word",
              "search_analyzer":"ik_max_word",
              "fields":{
                "row":{
                  "type":"keyword",
                  "ignore_above":256
                }
              }
            }
          }
        },{
          "string_as_keyword":{
            "match_mapping_type":"string",
            "mapping":{
              "type":"keyword"
            }
          }
        }
      ]
    }
  }
}

#拼音测试

DELETE twitter

PUT twitter
{
	"index": {
		"analysis": {
			"analyzer": {
				"ik_pinyin_analyzer": {
					"type": "custom",
					"tokenizer": "ik_smart",
					"filter": ["my_pinyin",
					"word_delimiter"]
				}
			},
			"filter": {
				"my_pinyin": {
					"type": "pinyin",
					"first_letter": "prefix",
					"padding_char": " "
				}
			}
		}
	}
}

PUT twitter/doc/_mapping
{
	"doc": {
		"properties": {
		    "type": { "type": "keyword" }, 
        "name": { "type": "text" },
        "user_name": { "type": "keyword" },
        "email": { "type": "keyword" },
        "content": { 
          "type": "keyword",
          "analyzer":"ik_smart",
          "fields": {
  					"pinyin": {
  						"type": "text",
  						"store": false,
  						"term_vector": "with_positions_offsets",
  						"analyzer": "ik_pinyin_analyzer",
  						"boost": 10
  					}
  				}
        },
        "tweeted_at": { "type": "date" }
		}
	}
}

PUT twitter/doc/user-kimchy
{
  "type": "user", 
  "name": "Shay Banon",
  "user_name": "kimchy",
  "email": "shay@kimchy.com"
}

PUT twitter/doc/tweet-4
{
  "type": "tweet", 
  "user_name": "kimchy",
  "tweeted_at": "2017-10-24T09:00:00Z",
  "content": "明星生孩子压力大?高圆圆钟丽缇心态不一,婚后生活大不同 "
}

GET twitter/_search
{
  "query": {
    "bool": {
      "must": {
        "match": {
          "content": "gaoyuanyuan"
        }
      },
      "filter": {
        "match": {
          "type": "tweet" 
        }
      }
    }
  }
}

#做类型映射

POST test/_mapping/user
{
  "user":{
    "properties":{
      "id":{
        "type":"long"
      },
      "userAll":{
        "type":"text",
        "analyzer":"ik_smart",
        "fields": {
					"pinyin": {
						"type": "text",
						"store": false,
						"term_vector": "with_positions_offsets",
						"analyzer": "ik_pinyin_analyzer",
						"boost": 10
					}
				}
      },
      "name":{
        "type":"keyword"
      },
      "info":{
        "type":"text",
        "analyzer":"ik_smart",
        "search_analyzer":"ik_smart",
        "copy_to":"userAll"
      }
    }
  }
}

#查看类型映射

GET test/_mapping/user

#添加数据

PUT test/user/5
{
  "id":"5",
  "name":"张三丰",
  "info":"名君宝，字符元。三"
}

#根据索引查看

GET test/user/1

#查询

GET test/user/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "info": "三丰"
          }
        }
      ]
    }
  }
}

#细粒度分词

POST _analyze
{
  "analyzer": "pinyin",
  "text": "张三丰，名君宝（又名全一），字符元，道号三丰。"
}

#最大拆分分词

POST _analyze
{
  "analyzer": "ik_max_word",
  "text": "ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开..."
}

GET _search

#拼音分词

POST /_analyze
{
    "analyzer":"pinyin",
    "text":"中华人民共和国国歌"
}

#配置全局映射：默认+动态模板

PUT _template/global_pinyin_template
{
	"index": {
		"analysis": {
			"analyzer": {
				"pinyin_analyzer": {
					"tokenizer": "my_pinyin"
				}
			},
			"tokenizer": {
				"my_pinyin": {
					"type": "pinyin",
					"keep_separate_first_letter": false,
					"keep_full_pinyin": true,
					"keep_original": true,
					"limit_first_letter_length": 10,
					"lowercase": true,
					"remove_duplicated_term": true
				}
			}
		}
	}
}

#删除 index

DELETE index_name

#创建一个 index_name 的 index

PUT index_name
{
	"index": {
		"analysis": {
			"analyzer": {
				"ik_pinyin_analyzer": {
					"type": "custom",
					"tokenizer": "ik_smart",
					"filter": ["my_pinyin",
					"word_delimiter"]
				}
			},
			"filter": {
				"my_pinyin": {
					"type": "pinyin",
					"first_letter": "prefix",
					"padding_char": " "
				}
			}
		}
	}
}

#修改 type 的 mapping

PUT index_name/app/_mapping
{
	"app": {
		"properties": {
			"ProductCName": {
				"type": "keyword",
				"fields": {
					"pinyin": {
						"type": "text",
						"store": false,
						"term_vector": "with_positions_offsets",
						"analyzer": "ik_pinyin_analyzer",
						"boost": 10
					}
				}
			},
			"ProductEName": {
				"type": "text",
				"analyzer": "ik_smart"
			},
			"Description": {
				"type": "text",
				"analyzer": "ik_smart"
			}
		}
	}
}

#创建测试数据

PUT index_name/app/1
{
  "ProductCName":"口红世家",
  "ProductEName":"Red History",
  "Description":"口红真是很棒的东西呢"
}

#查询

GET index_name/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "ProductCName.pinyin": "kou"
          }
        }
      ]
    }
  }
}
路过了全世界
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一种拼音分词器的JAVA实现
Vince的修炼之路
12-02 3084
搜索中的分词器有很多种，包括中文、英文，一般的网站都会有站内搜索功能，也就是对用户输入的内容进行处理，本文对中文的全拼实现了一 个分词器，原理很简单，就是模式匹配。根据中文全拼的特点，即声母和韵母配对，首先列举出所有的声母，再分别列举出所有声母对应的韵母 集，分词的过程就是遍历匹配的过程。具体代码如下： import java.util.ArrayList; public cl
分割符分割汉字拼音和字母
expect521的博客
01-19 1870
需求：把拼音用逗号分隔 效果：京东金融app贷款 – jing1,dong1,jin1,rong2,a,p,p,dai4,kuan3 准备：不需要引入任何包，直接就可以运行下面的代码 public class SplitPinyinAlphabet { public static void main(String[] args) { splitPinyinAlphabet("京东金融app...
中文分词及拼音分词
qq_39750658的博客
02-27 1861
相关软件下载 elasticsearch-analysis-ik-6.4.2.zip elasticsearch-analysis-pinyin-6.4.2.zip 安装插件 ik分词插件安装 #在elasticsearch的plugins/目录下创建ik文件夹 cd elasticsearch/plugins/ mkdir ik #解压文件 cd ik unzip /es/tools/elast...
拼音分词属性
qq_39750658的博客
02-27 724
属性 说明 keep_first_letter 启用此选项时，例如：刘德华> ldh，默认值：true keep_separate_first_letter 启用该选项时，将保留第一个字母分开，例如：刘德华> l，d，h，默认：假的，注意：查询结果也许是太模糊，由于长期过频 limit_first_letter_length 设置first_letter结果的最...
中文拼音分词器
11-19
针对中文进行修改的拼音分词器，很强大，支持首字母搜索、全拼搜索，首字母+全拼搜索！配置如下：<fieldtype name="text_pinyin" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="true" /> <filter class="home.rong.joker.pinyin.solr.PinyinTokenFilterFactory" pinyinAll="true" minTermLength="2" /> <filter class="home.rong.joker.pinyin.solr.PinyinNGramTokenFilterFactory" nGramChinese="true" nGramNumber="true" /> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="true" /> <filter class="home.rong.joker.pinyin.solr.PinyinTokenFilterFactory" pinyinAll="true" minTermLength="2" /> <filter class="home.rong.joker.pinyin.solr.PinyinNGramTokenFilterFactory" nGramChinese="true" nGramNumber="true" /> </analyzer> </fieldtype>
elasticsearch基本概念
xiaofancn的专栏
06-25 202
使用的是elasticsearch 6.2.2    mapping.json       { "mappings": { "prod_resource": { "properties": { "id": { "type": "text", "fielddata":
使用Pinyin4j进行拼音分词的方法
08-28
例如，你可以利用这些方法创建一个搜索引擎，允许用户使用拼音输入关键词，或者在处理大量中文文本时进行预处理。此外，对于处理多音字的场景，`converterToFirstSpell`方法提供了灵活的支持，可以根据实际需求进行...
拼音分词器
04-17
在中文信息处理领域，拼音分词是一项至关重要的技术。它主要应用于搜索引擎、输入法、文本分析等...Pinyin4j和类似的库如pinyinAnalyzer则提供了实现这些功能的工具，极大地便利了开发人员在各种应用中使用拼音分词。
solr cloud6.1.0拼音分词
02-16
2. 更新solrconfig.xml文件，配置分析器链，指定使用拼音分词器。 3. 更新schema.xml文件，定义字段类型，使用包含拼音处理的分析器。 4. 部署和启动Solr Cloud实例。 5. 创建或更新索引，确保新的配置生效。 在...
ik分词与拼音分词jar包
05-11
这里我们关注的是"IK分词"和"拼音分词"，这两种技术在Java环境中经常被用于中文文本的处理。 首先，IK分词是"Ik Analyzer"的简称，它是一个开源的、基于Java实现的中文分词组件。IK分词器最初是为了满足Lucene/Solr...
分词与拼音转化
zz_hh_uu_的博客
06-14 312
#-*-coding:utf-8-*- from xpinyin import Pinyin import glob import codecs import pkuseg symbols = u''' !"#$%&'()*+,-./:;<=>?@[\]^_`{|}~£§°±·×÷ˇˉ—‖‘’“”‰′※、。〃々〆〇〈〉《》「」『』【】〒〓〔〕〖〗！，？￠￡￥''' if __n...
中文拼音分词
chenxipao8932的博客
11-26 389
最近工作中经常遇到用户的查询是这种类型，handuyishe， chuntianxingganchangqun，leisisiwa， 实在找不到好的办法，也不想用拼音词典分词，所以看了网上一些资料，写了一个正则表达式， [^aoeiuv]?h?[iuv]?(ai|ei|ao|ou...
磁力链磁力链磁力链.txt
最新发布
07-22
磁力链
“人力资源+大数据+薪酬报告+涨薪调薪”
07-22
人力资源+大数据+薪酬报告+涨薪调薪，在学习、工作生活中，越来越多的事务都会使用到报告，通常情况下，报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢？以下是小编精心整理的调薪申请报告，欢迎大家分享。相信老板看到这样的报告，一定会考虑涨薪的哦。
安装graphviz和pygraphviz
07-22
pygraphviz 是一个Python库，它是Graphviz图形可视化软件的Python接口。Graphviz是一个开源的图形可视化软件，广泛用于创建和编辑有向图和无向图。pygraphviz使得Python开发者能够轻松地创建和操作图形，以及执行图形的布局和可视化。 一、pygraphviz的主要功能 创建和编辑图形：pygraphviz允许开发者通过Python代码来创建图形，包括添加节点、边等元素，并且可以编辑这些元素的属性，如颜色、形状、标签等。 图形布局：pygraphviz支持多种图形布局算法，如dot、neato、circo等，开发者可以根据需要选择合适的算法来优化图形的布局。 图形可视化：pygraphviz可以将创建和编辑好的图形保存为图片文件，支持多种图片格式，如PNG、JPEG等，方便开发者进行展示和分享。
BrainF**k Devlopment Toolkit
07-22
BrainF**k Devlopment Toolkit(BFDTK)，可用于开发BrainF**k程序。
基于UC3875控制的大功率全桥开关电源设计（提供原理图、PCB图）
07-22
基于UC3875控制的大功率全桥开关电源设计（提供原理图、PCB图） 1、使用UC3875为控制芯片； 2、NCP1253为辅助电源设计，输出12V，给控制芯片供电； 3、UC3845做BOOST升压控制，实现市电整流升压到400V； 4、全桥拓扑设计结构； 5、后级输出同步整流设计； 6、过压硬件保护电路； 7、过流硬件保护电路； 8、提供原理图、PCB图；
毕业设计javajsp大学兼职信息网sqlserver-qp源码含文档工具包
07-22
毕业设计javajsp大学兼职信息网sqlserver-qp源码含文档工具包 页面是jsp，数据库sqlserver，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 （1）网站前台功能： A、信息搜索功能（分类检索） B、用户登录、注册 C、查看发布兼职信息 D、预定兼职 E、个人简历的编辑（也可以上传自己制作的简历） F、用户投诉 G、留言版 H、新闻公告（职场资讯） I、职场攻略（包含面试技巧以及简历指导） （2）管理员后台功能： A、用户信息管理
IKAnalyzer2012中文分词器使用手册
"IKAnalyzer中文分词器V2012_FF使用手册" IKAnalyzer中文分词器是一款基于Java开发的轻量级开源工具，专用于中文分词处理。自2006年12月发布1.0版本以来，它已经经历了多个大版本的迭代，从最初与Lucene项目紧密...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值