排序:
默认
按更新时间
按访问量

Flink部署-standalone模式

安装环境信息 flink-1.6.2-bin-hadoop27-scala_2.11.tgz hadoop-2.7.5 java 1.8 zookeeper 3.4.6 os:centos 6.4 1、下载 直接去flink的社区下载就可以了。http://flink.apache.org/do...

2018-11-30 00:07:41

阅读数:11

评论数:0

ES中搜索请求的讲解

ES中一个搜索请求是怎么流转的 1、搜索请求发送到某一个coordinate node,构建一个priority queue,长度以paging操作from和size为准,默认为10 2、coordinate node将请求转发到所有shard,每个shard本地搜索,并构建一个本地priorit...

2018-11-18 22:48:18

阅读数:30

评论数:0

Apache Flink介绍

什么是Flink Flink 它可以处理有界的数据集、也可以处理无界的数据集、它可以流式的处理数据、也可以批量的处理数据。所谓的无穷数据集就是我们日常中所说的实时数据,比如金融市场的实时交易记录,web的实时访问记录,所谓的有界数据集就是一些有限不会改变的数据集合,所以flink数据运算模型有流...

2018-11-16 23:53:07

阅读数:13

评论数:0

ES中scroll技术

如果一次性要查询出一大批的数据,那么性能会很差,此时一般采用scoll滚动查询,一批一批的查询,直到所有的数据查询完成 使用scoll滚动搜索,可以先搜索一批数据,然后下次再搜索一批数据,以此类推,直到搜索出全部的数据来 scoll搜索会在第一次搜索的时候,保存一个当时的视图快照,之后只会基于该旧...

2018-11-16 00:41:38

阅读数:21

评论数:0

ES分词算法

算法介绍 1、relevance score算法,就是计算出,一个索引中的文本,与搜索文本,他们之间的关联匹配程度 2、ES使用的是,term frequency/inverse document frequency算法,简称TF/IDF算法 3、term frequency:搜索文本中的各个词条...

2018-11-15 23:34:07

阅读数:19

评论数:0

ES字符串排序问题

如果对一个text field进行排序,结果往往不准确,因为分词后是多个单词,再排序就不是我们想要的结果了 通常解决方案是,将一个text field建立两次索引,一个分词,用来进行搜索;一个不分词,用来进行排序 创建索引 在ES6中没有String类型了,如果是不能被检索需要定义为keyword...

2018-11-14 00:13:12

阅读数:53

评论数:0

ES的查询接口

1、什么是query DSL GET /_search { "query": { "match_all": {} } } query 中有哪些query_name 全部查询出来 match a...

2018-11-11 00:38:51

阅读数:40

评论数:0

ES中mapping讲解

注意:以下都是基于ES6操作的 准备数据 PUT /web/info/1 { "post_date": "2018-11-01", "title": "the ...

2018-11-08 22:16:08

阅读数:88

评论数:0

ES中search中参数讲解

1、搜索出来的一大堆参数,每个参数具体是什么意思 took:表示整个搜索请求花费了多少毫秒 hits.total:本次搜索,返回了几条结果 hits.max_score:本次搜索的所有结果中,最大的相关度分数是多少。每一条document对于search的相关度,越相关,_score分数越大,排位...

2018-11-07 23:07:06

阅读数:18

评论数:0

ES中bulk的json的原理

前面我们讲解到ES在做批处理的时候,采用的多行json方式。这种有什么好处呢? 1、bulk中的每个操作都可能要转发到不同的node的shard去执行 2、如果采用比较良好的json数组格式 (1)将json数组解析为JSONArray对象,这个时候,整个数据,就会在内存中出现一份一模一样的拷贝,...

2018-11-05 00:50:26

阅读数:31

评论数:0

ES查询原理和timeout讲解

ES的查询过程 1、客户端发送请求到任意一个node,成为coordinate node 2、coordinate node对document进行路由,将请求转发到对应的node(primary或者replicanode上)上,此时使用round-robin随机轮询算法,在primary shar...

2018-11-05 00:48:27

阅读数:80

评论数:0

ES中document如何做写一致性

1、consistency ,one(primary shard),all(all shard),quorum(default)       ...

2018-11-04 00:34:17

阅读数:27

评论数:0

ES路由原理

1、路由算法 shard=hash(routing)%number_of_primary_shards 例如 一个index有3个primary shard P0,P1,P2每次增删改修改一个document的时候,都会带过来一个routing number,默认这个就是document 的_id...

2018-10-31 00:32:57

阅读数:49

评论数:0

ES批量操作

1、ES批量查询的好处 批量查询可以缩减网络的开销 2、mget的语法 如果我们要查询某个索引下面某个类型下面的document数据,之前需要一条一条的查询 GET /test_index/test_type/6 GET /test_index/test_type/10 如果我们用mget的方式...

2018-10-30 00:26:14

阅读数:52

评论数:0

ES中partial update的使用

1、什么是partial update PUT /index/type/id 创建文档&替换文档,就是一样的语法 (1)应用程序先发起一个get请求,获取到document,展示到前台界面,供用户查看和修改 (2)用户在前台界面修改数据,发送到后台 (3)后台代码,会将用户...

2018-10-29 00:28:55

阅读数:21

评论数:0

ES乐观锁的控制

任何一个系统都需要考虑并发请求的场景,ES也不例外,在ES中使用了乐观锁来并发控制的 1、ES如何基于_version进行乐观锁并发控制 PUT /test_index/test_type/3 { "test_field":"test&am...

2018-10-26 00:35:06

阅读数:23

评论数:0

ES分布式架构知识点

1、ES 分布式的特性透明隐藏特性 ES是一套分布式的系统,里面隐藏了复杂的分布式机制,分片机制,集群发现机制,shard负载均衡,shard副本,请求路由,集群扩容,shard重分配 2、ES的扩容机制 垂直扩容:采用配置好的机器替换原来的机器 水平扩容:增加相同配置的机器 3、增加和减少节点时...

2018-10-25 00:39:45

阅读数:31

评论数:0

ES的聚合分析和钻取功能

第一:计算每个兴趣点的同学个数 GET /employee/user/_search { "size": 0, "aggs": { "group_by_join": { ...

2018-10-14 22:09:22

阅读数:22

评论数:0

ElasticSearch的各种查询

ElasticSearch多种搜索方式 1、query string search 2、query DSL 3、queryfilter 4、full-tex search 5、phrase search 6、highlight search 1、query string search 搜索全部信息...

2018-10-12 00:43:17

阅读数:26

评论数:0

ElasticSearch健康检查和CRUD

目前为了快速的学习ES我们可以在window环境下面搭建ES和kibana es提供了一套api,叫做cat api,可以查看es中各种各样的数据 健康检查 GET /_cat/health?v epoch timestamp cluster status node.t...

2018-09-13 00:46:05

阅读数:59

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭