2017年10月_R_P_J

原创第十三篇 elasticsearch的Query DSL搜索语法

Query DSL基本语法{ QUERY_NAME: { ARGUMENT: VALUE, ARGUMENT: VALUE,... }}{ QUERY_NAME: { FIELD_NAME: { ARGUMENT: VALUE, ARGUMENT: VALUE,...

2017-10-31 18:01:12 1967

原创第十二篇 elasticsearch中的mapping透彻理解

首先插入几条数据，让es自动为我们建立一个索引PUT /website/article/1{ "post_date": "2017-01-01", "title": "my first article", "content": "this is my first article in this website", "author_id": 11400}PUT /website/a

2017-10-31 17:00:33 1596

原创第十一篇 elasticsearch的分页搜索和deep_paging性能问题

1. 分页搜索的语法size,fromGET /_search?size=10GET /_search?size=10&from=0GET /_search?size=10&from=202. deep paging性能探究deep paging简单来说，就是搜索的特别深，比如总共有60000条数据，每个shard上分20000条，每页是10条数据，这个时候你要搜索到第1000页，实际上要拿到的

2017-10-31 14:25:50 1249 4

原创第十篇 elasticsearch的写一致性原理以及quorum机制深入剖析

1. consistency参数：one（primary shard），all（all shard），quorum（default）我们在发送任何一个增删改操作时比如put /index/type/id，都可以带上一个consistency参数，指明我们想要的写一致性是什么：put /index/type/id?consistency=quorumone：要求我们这个写操作，只要有一个primar

2017-10-30 17:50:49 2039 2

原创第九篇 elasticsearch的document数据路由原理

1. document是怎么路由到shard上的？路由算法：shard = hash(routing) % number_of_primary_shards 假如一个index有3个primary shard,P0,P1,P2；在每次增删改查一个document的时候都会带过来一个routing number，默认就是这个document的_id（可能是手动指定，也可以自动生成）； elas

2017-10-30 14:13:55 564

原创第八篇 elasticsearch的批量增删改查

1. 批量查询1.1 mget查询的语法GET /_mget{ "docs" : [ { "_index" : "test_index", "_type" : "test_type", "_id" : 1 }, { "_index" : "test_index",

2017-10-30 11:35:01 3798

原创第七篇 elasticsearch如何解决并发冲突问题

1. 乐观锁和悲观锁两种并发控制方案数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。不要把他们和数据中提供的锁机制（行锁、表锁、排他锁、共享锁）混为一谈。其实，在DBMS中，悲观锁正是利用数据库本身提供的锁机制来实现的。1.1 悲观锁如

2017-10-29 22:31:35 5319

原创第六篇 elasticsearch中的document全量替换、强制创建以及删除机制

1、document的全量替换语法与创建文档是一样的，如果document id不存在，那么就是创建；如果document id已经存在，那么就是全量替换操作，替换document的json串内容document是不可变的，如果要修改document的内容，第一种方式就是全量替换，直接对document重新建立索引，替换里面所有的内容es会将老的document标记为deleted，然后新增我

2017-10-28 18:27:38 2542 3

原创第五篇 elasticsearch中document的核心元数据

1、_index元数据（1）代表一个document存放在哪个index中（2）类似的数据放在一个索引，非类似的数据放不同索引：product index（包含了所有的商品），sales index（包含了所有的商品销售数据），inventory index（包含了所有库存相关的数据）。如果你把比如product，sales，human resource（employee），全都放在一个大的in

2017-10-28 17:25:48 660

原创第四篇 elasticsearch的基本分布式架构

1、Elasticsearch对复杂分布式机制的透明隐藏特性Elasticsearch是一套分布式的系统，分布式是为了应对大数据量，它很好的隐藏了复杂的分布式机制：shard分片机制我们可以随随便便就将一些document插入到es集群中去，而且不用关心数据怎么进行分片的，数据到哪个shard中去。cluster discovery集群发现机制举例：我们之前在做那个集群status从ye

2017-10-28 17:19:13 1562

原创第三篇 elasticsearch的group by+avg+sort等聚合分析

本文依据如下数据模板进行分析PUT /ecommerce/product/1{ "name" : "gaolujie yagao", "desc" : "gaoxiao meibai", "price" : 30, "producer" : "gaolujie producer", "tags": [ "meibai", "fangzhu" ]

2017-10-28 16:00:35 10618 2

原创第二篇应用elasticsearch进行简单的商品管理

一、集群健康检查和文档CRUD1. 快速查询集群的健康状况GET /_cat/health?v了解集群的健康状况 green：每个索引的primary shard和replica shard都是active状态的。 yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态 red：不是所有索引的pri

2017-10-27 20:12:24 1970

原创第一篇 elasticsearch介绍

1.es介绍1.1.es功能分布式的搜索引擎和数据分析引擎数据分析：电商网站，最近7天牙膏销量排行前十商家（举例）；全文检索，结构化检索，数据分析全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like “%牙膏%” 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from produ

2017-10-27 17:28:46 622

R_P_J的博客