elasticsearch学习
YEE_HOLIC
一只还在入门的渣渣
展开
-
Elasticsearch学习之 Search After 结果分页显示
Search After通过提供一个live cursor来规避消耗存储和时间的性能问题通过上一页的结果帮助检索下一页如下面这个示例,按照第一个检索到的最后显示的“balance”和‘_id’值,作为下一个检索search_after的参数当使用search_after参数时,from的值必须被设为0或者-1curl -XGET "http://localhost:9200/ban...原创 2018-08-14 10:14:08 · 10617 阅读 · 0 评论 -
elasticsearch学习之根据发布时间设置衰减函数
衰减函数decay functionion 高斯衰减GET _search{ "_source": ["title","release_date"], "query": { "function_score": { "query": { "match_all": {} }, "functi原创 2018-10-17 14:12:10 · 2447 阅读 · 0 评论 -
elasticsearch学习之field_value_factor函数的使用
GET tmdb/_search{ "_source": ["title","vote_average"], "query": { "function_score": { "query": { "match_all": {} }, "functions": [ {原创 2018-10-17 14:13:34 · 2303 阅读 · 0 评论 -
elasticsearch学习之通过设置搜索边界实现精确匹配字段
GET tmdb/_search{ "_source": "name_exact_match", "query": { "bool": { "should": [ { "constant_score": { "filter": { "matc原创 2018-10-17 14:16:23 · 1019 阅读 · 0 评论 -
elasticsearch学习之cross_fields字段使用
cross_fields字段:在查询阶段解决信号冲突问题问题: The cross_fields type is particularly useful with structured documents where multiple fields should match. For instance, when querying the first_name and last_name fi...原创 2018-10-17 14:28:25 · 1532 阅读 · 0 评论 -
Elaticsearch analyzer 学习
analyzer记录术语的顺序和相关位置信息(短语查询和单词邻近查询)记录每个术语相对于原始文本的开始和结束位置的偏移量(用于高亮)可以自定义analyzer,可以通过添加配置信息使得某个analyzer成为自己需要的分词器https://www.elastic.co/guide/en/elasticsearch/reference/6.3/_testing_analyzers.html...原创 2018-10-30 10:01:21 · 346 阅读 · 0 评论 -
Elasticsearch学习之的delimited_payloads使用
想要为每个token添加负载信息,例如标注词性elasticsearch中Token Filter:delimited_payloads注意事项:在设置tokenizer时必须不能把delimited_payloads中的分界符去掉实现:PUT /20181105{ "settings": { "analysis": { "filter": { ..原创 2018-11-06 09:55:07 · 816 阅读 · 0 评论 -
Elasticsearch 学习之 Ik分词添加停用词
添加的词典需为utf-8编码原创 2018-11-04 14:50:19 · 2605 阅读 · 0 评论 -
转 中文分词
转自:http://www.cnblogs.com/flish/archive/2011/08/08/2131031.html 基于CRF(Conditional Random Field)分词算法 论文链接:http://nlp.stanford.edu/pubs/sighan2005....转载 2018-11-04 21:09:44 · 337 阅读 · 0 评论 -
转 全文检索
本文我将为大家讲解全文检索技术——Lucene,现在这个技术用到的比较多,我觉得大家还是应该掌握一下,不说多精通,但是应该有所了解。在讲解之前,我们先来看一个案例,通过该案例引出全文检索技术——Lucene。案例实现一个文件的搜索功能,通过关键字搜索文件,凡是文件名或文件内容包括关键字的文件都需要找出来。...转载 2018-11-10 12:16:06 · 187 阅读 · 0 评论 -
ElasticSearch 词项查询
词项搜索对倒排索引中存储的词项进行精确操作terms query:用来查询包含多个词的文档GET books/_search{ "query":{ "terms":{ "title":["java","python"] } } }range query:用于匹配在某一范围内的数值型、日期类型或者字符型字段的文档。range查询支持的参数有以下几种:gt 大于,...原创 2019-08-04 20:52:15 · 381 阅读 · 0 评论 -
elasticsearch学习之搜后建议
GET tmdb/_search{ "suggest":{ "text":"star trec", "simple_phrase":{ "phrase":{ "field":"suggestion", "collate":{ "query":{原创 2018-10-17 14:05:23 · 125 阅读 · 0 评论 -
elasticsearch学习之搜索补全
GET tmdb/_search{ "suggest":{ "completion":{ "prefix":"star tr", "completion":{ "field":"completion" } } }}原创 2018-10-17 14:04:32 · 622 阅读 · 0 评论 -
elasticsearch学习之切面搜索 通过aggregation实现
GET tmdb/_search{ "size": 1, "_source": "title", "aggs": { "genres": { "terms": { "field": "genres.name.keyword" } } }}GET tmdb/_search原创 2018-10-17 14:02:50 · 650 阅读 · 0 评论 -
转 Elasticsearch的使用场景深入详解(Elasticsearch实战篇)
了解了ES的使用场景,ES的研究、使用、推广才更有价值和意义。1、场景—:使用Elasticsearch作为主要的后端传统项目中,搜索引擎是部署在成熟的数据存储的顶部,以提供快速且相关的搜索能力。这是因为早期的搜索引擎不能提供耐用的存储或其他经常需要的功能,如统计...转载 2018-08-03 14:53:51 · 3408 阅读 · 2 评论 -
Elasticsearch 学习之Search API inner hits
inner hits: curl -X PUT "localhost:9200/test" -H 'Content-Type: application/json' -d' { "mappings": { "_doc": { "properties": { "comments": { "type.原创 2018-08-13 17:58:53 · 3048 阅读 · 0 评论 -
Elasticsearch 学习之Field Collapsing(字段折叠)
Field Collapsing(字段折叠)不能与scroll、rescore以及search after 结合使用collapse字段:表示按照age(每个age对应多条document结果)的值折叠(keyword或者数值)sort:表示按照age字段排序from:偏移,即前180个document的值都被折叠掉了curl -XGET "http://localhost:9200...原创 2018-08-13 18:01:07 · 10814 阅读 · 0 评论 -
PHP-elasticsearch配置+基于elasticsearch全文搜索引擎的开发小结
首先参照官网内容下载与自己php以及elasticsearch版本相匹配的Php-elasticsearch,按照官网内容进行配置https://www.elastic.co/guide/en/elasticsearch/client/php-api/current/index.html接下来讲一下我基于elasticsearch-PHP开发的一个全文搜索项目说明一下:PHP使用...原创 2018-09-04 11:24:07 · 2577 阅读 · 0 评论 -
Logstash elasticsearch MySQL数据同步以及遇到问题解决
使用Logstash将MySQL数据同步到elasticsearch:input { stdin { } jdbc { jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driv...原创 2018-09-03 17:47:53 · 3694 阅读 · 2 评论 -
elasticsearch 6.3.2 + Ubuntu16.04 Ubuntu18.04 集群搭建问题一览
配置3个节点的elasticsearch集群,遇到问题如下:问题一ERROR: bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 解决办法:修改 /etc/sysctl.conf ,...原创 2018-09-14 08:57:25 · 504 阅读 · 0 评论 -
Python elasticsearch 导入json文件数据 + 将scrapy爬虫数据直接存入elasticsearch
json文件是从网上爬下来的数据scrapy 保存的json格式数据默认Unicode格式编码,转utf-8 格式需要在settings里面加入一条:FEED_EXPORT_ENCODING='utf-8'原创 2018-09-14 17:21:24 · 2069 阅读 · 1 评论 -
elasticsearch学习之文档分组
GET tmdb/_search{ "size": 1, "_source": " ", "query": { "match": { "title": "star trek" } }, "原创 2018-10-17 13:59:32 · 240 阅读 · 0 评论 -
elasticsearch学习之高亮
GET tmdb/_search{ "size": 30, "_source": " ", "query": { "multi_match": { "query": "star trek", "fields": ["title","overview"]原创 2018-10-17 14:01:42 · 474 阅读 · 0 评论 -
Elasticsearch复合查询
bool query:使用must,should,must_not,filter选项表示简单查询之间的逻辑must: 相当于逻辑运算的andshould:相当与逻辑运算的ormust_not:与must相反filter:和must一样,匹配filter选项下的查询条件的文档才会被返回,但filter不评分,只起到过滤功能GET books/_search{ "query":{ ...原创 2019-08-05 09:09:56 · 135 阅读 · 0 评论