elasticsearch映射

前面讲到,无论是关系型数据库还是非关系型数据库,乃至elasticsearch这种事实上承担着一定储存作用的搜索引擎,数据类型都是非常重要而基础的概念。但elasticsearch与其它承担着数据存储的技术有着比较大的区别之一就是映射,和倒排索引。映射是定义如何存储和编制文档及其包含的字段的过程。...

2018-02-12 15:37:23

阅读数 82

评论数 0

elasticsearch searchAPI 之 search template 查询模板

最近在公司又用到了elasticsearch,也用到了查询模板,顺便写篇文章记录一下查询模板的使用。以1个需求为例讲解es模板的使用:页面上某个按钮在一段时间内的点击次数统计,并且可以以小时,天,月为单位进行汇总,并且需要去重。创建索引,只定义3个字段,user_id, user_name和cre...

2018-02-12 10:32:04

阅读数 818

评论数 0

查询时权重提升

编辑在 语句优先级(Prioritizing Clauses) 中,我们解释过如何在搜索时使用 boost 参数让一个查询语句比其他语句更重要。 例如:GET /_search { "query": { "bool&quot...

2018-02-12 10:18:45

阅读数 94

评论数 0

ElasticSearch复合数据类型——数组,对象和嵌套

在ElasticSearch中,使用JSON结构来存储数据,一个Key/Value对是JSON的一个字段,而Value可以是基础数据类型,也可以是数组,文档(也叫对象),或文档数组,因此,每个JSON文档都内在地具有层次结构。复合数据类型是指数组类型,对象类型和嵌套类型,各个类型的特点分别是:数组...

2018-02-08 17:12:14

阅读数 416

评论数 0

Elasticsearch使用rescore重打分机制

1、match和match_phrase(proximity match)的区别match --》只要简单的匹配到了一个term,就可以理解将term对应的doc作为结果返回,扫描倒排索引,扫描到了就OK。match_phrase --》首先扫描到所有term的doc list;找到包含所有ter...

2018-02-08 16:26:16

阅读数 795

评论数 0

Elasticsearch - 短语匹配(match_phrase)以及slop参数

短语匹配(Phrase Matching)就像用于全文搜索的的match查询一样,当你希望寻找邻近的单词时,match_phrase查询可以帮你达到目的。GET /my_index/my_type/_search { "query": { ...

2018-02-08 16:03:01

阅读数 359

评论数 0

elasticsearch 过滤器

本章翻译自Elasticsearch官方指南的Filtering Queries and Aggregations一章。过滤查询以及聚合A natural extension to aggregation scoping is filtering. Because the aggregation ...

2018-02-08 14:24:25

阅读数 90

评论数 0

ES doc_values介绍——本质是field value的列存储,做聚合分析用,ES默认开启,会占用存储空间(列存储压缩技巧,除公共除数或者同时减去最小数,字符串压缩的话,直接去重后用数字ID压

大家知道,搜索引擎的基本数据结构是反向索引,也就是为每个关键词建立了到文档的映射,然后所有的关键词是一个有序列表。搜索的时候,只要先从有序列表中匹配到关键词,就能搜索到包含该关键词的所有文档,反向索引的数据结构对于关键词搜索的场景是非常高效的。但聚合分析和搜索有很大的不同。典型的场景,比如计算某个...

2018-02-08 11:13:18

阅读数 243

评论数 0

spark中直接使用es的client

因为jar冲突,es client使用的httpjar被忽略,所以导致报错,所以使用以下命令确保用户的jar被优先加载。 spark-submit --class SparkTest --master yarn  --deploy-mode client \ --driver-cores 1 ...

2018-02-06 15:16:54

阅读数 303

评论数 0

Elasticsearch嵌套式对象Nested分析

原文请参考: https://www.felayman.com/articles/2017/11/10/1510292946325.html nested结构是Elasticsearch提供关系存储的一种特殊的结构,是NOSQL的一种高级特性,在传统的关系型sql中,很难做到一行记录中存储某...

2018-02-02 11:23:33

阅读数 381

评论数 0

elasticsearch mapping 学习(parent-child)

ES 父子文档查询 父子文档的特点 1. 父/子文档是完全独立的。 2. 父文档更新不会影响子文档。 3. 子文档更新不会影响父文档或者其它子文档。 父子文档的映射与索引 1. 父子关系 type 的建立必须在索引新建或 update-mappi...

2018-02-02 10:22:57

阅读数 762

评论数 0

Elasticsearch——使用学习2(API常用参数)

Elasticsearch——Rest API中的常用用法 本篇翻译的是Elasticsearch官方文档中的一些技巧,是使用Elasticsearch必不可少的必备知识,并且适用于所有的Rest Api。 返回数据格式化 当在Rest请求后面添加?pretty时...

2018-02-02 09:49:59

阅读数 73

评论数 0

Elasticsearch——使用学习1(API约定,多个索引支持)

在Elasticsearch中,一般的查询都支持多索引。 只有文档API或者别名等不支持多索引操作,因此本篇就翻译一下多索引相关的内容。 首先,先插入几条数据: $ curl -XPOST localhost:9200/test1/test/1 -d '{"name"...

2018-02-02 09:32:26

阅读数 72

评论数 0

Elasticsearch 动态映射——自动检测

ES中有一个非常重要的特性——动态映射,即索引文档前不需要创建索引、类型等信息,在索引的同时会自动完成索引、类型、映射的创建。 那么什么是映射呢?映射就是描述字段的类型、如何进行分析、如何进行索引等内容。 本篇就着重讲述下,ES中映射的自动检测特性。 更多内容参考:Elastis...

2018-02-01 10:48:56

阅读数 160

评论数 0

elasticsearch bool组合查询

# bool组合查询 # filter:过滤,不参与打分 # must:如果有多个条件,这些条件都必须满足 and与 # should:如果有多个条件,满足一个或多个即可 or或 # must_not:和must相反,必须都不满足条件才可以匹配到 !非 布尔查询 与匹配其他查询的布尔组合的文...

2018-02-01 10:04:39

阅读数 2442

评论数 0

kibana使用

1. 添加索引到kibana 2. 添加到kibana后就可以使用kibana的各种功能来对索引进行分析。 2.1  进行可视化 在ES中的聚合,大体上可以为两类聚合方法,metric和bucket。metic可以理解成avg、sum、count、max、...

2018-01-31 17:52:32

阅读数 207

评论数 0

elastic映射、分词

一. fields和keyword使用示例: 1.建立索引 PUT url {} 2.建立映射 PUT url/_mapping/test { "properties": { "url": { "typ...

2018-01-31 16:38:28

阅读数 170

评论数 0

Elasticsearch【正则搜索】分析&实践

在ES中有很多使用不是很频繁的查询,可以达到一些特殊的效果。比如基于行为路径的漏斗模型。本篇就从使用上讲述一下正则表达式查询的用法。 Regexp Query regexp允许使用正则表达式进行term查询.注意regexp如果使用不正确,会给服务器带来很严重的性能压力。比如.*开头的...

2018-01-31 15:42:21

阅读数 140

评论数 0

esAPI使用及中文分词

1.建立映射,使用中文分词器 PUT /zw  {   "mappings": {     "person" : {       "properties" : {         "addr" : {  ...

2018-01-30 11:20:35

阅读数 574

评论数 0

elasticsearch-sql插件安装与使用

elasticsearch版本为2.2.0 源码地址:https://github.com/NLPchina/elasticsearch-sql/tree/elastic2.2.0 安装方式有以下三种: 1、按照以上链接说明的方式进行安装 ./bin/plugin inst...

2017-09-28 17:22:17

阅读数 423

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭