elasticSearch
大数据玩家
致力于大数据源码研究、底层原理研究!
展开
-
ElasticSearch DSL优化,让你的查询快100倍!
起因 最近一直苦恼于elasticsearch中的一个查询,总数据量10亿条,按条件term查询,只取符合条件的10条数据,3个集群节点(64G 32C),查询耗时80ms,并发一直上不去,只有300qps。按理说,既无排序又无算分,不应该那么慢才对!GET demo/_search{ "query": { "nested": { "path": "ta...原创 2019-12-26 22:44:05 · 1862 阅读 · 0 评论 -
(第二弹)Elasticsearch-----节点类型分工
1. 客户端节点 当主节点和数据节点配置都设置为false的时候,该节点只能处理路由请求,处理搜索,分发索引操作等,从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的,他协调主节点和数据节点,客户端节点加入集群可以得到集群的状态,根据集群的状态可以直接路由请求。2. 数据节点 数据节点主要是存储索引数据的节点,主要对文档进行增删改查操作,聚...原创 2019-06-29 20:18:31 · 208 阅读 · 0 评论 -
(第一弹)Elasticsearch-----ElasticSearch集群的安装7.X
本文以及后面的系列均已ElasticSearch7.X的版本讲解,欢迎支持! 环境说明: centos7 、 elasticsearch7.2.0 、 同一个机子安装3个节点 、 7.x版本自带JDK一、下载并解压 下载地址:https://www.elastic.co/cn/downloads/elasticsea...原创 2019-07-03 16:59:22 · 771 阅读 · 0 评论 -
ElasticSearch Date时区问题
时间中时区的几个名词:GMT:格林威治标准时间 UTC:世界协调时间 DST:夏日节约时间 CST:中国标准时间问题来源存入时间数据库实际存储时间 2017-06-21 10:09:51(一致)kibana查看时间 2017-06-21 18:09:51(晚8小时)问题解决 如果在写入数据时不加时区信息,Ela...原创 2019-03-07 23:25:55 · 11223 阅读 · 0 评论 -
Elasticsearch集群冷热分离-实际操作
两台物理机(40core,128G内存, 1T ssd, 1T*3 hdd),每台机器同时部署一个hot node和cold node,共4个node。hot node使用ssd作为存储介质,分配32G内存,接收实时日志。cold node使用hdd盘作为存储介质,分配16G内存,存储历史日志(只读不写)。每日固定时间进行热->冷迁移。节点级别配置在 hot 组的两个...转载 2019-03-07 22:00:51 · 306 阅读 · 0 评论 -
Elasticsearch生产环境碰到的问题
1、数据节点产生问题,有时候也会导致master节点产生问题,数据节点内存满了,GC很严重,主节点下发集群状态,下发30秒超时,数据节点又没有死,就会造成阻塞,其他请求无法处理,因为主节点只有一个线程处理集群状态2、集群刚刚启动的时候,很多pending task在处理,close一些索引的操作来不及处理就内存满了,觉得put setting应该设置一些优先级,close优先级更高3、...原创 2019-02-28 23:27:51 · 455 阅读 · 0 评论 -
Elasticsearch Shrink缩小分片数
相信大家都知道 elasticsearch 索引的 shard 数是固定的,设置好了之后不能修改,如果发现 shard 太多或者太少的问题,之前如果要设置 Elasticsearch 的分片数,只能在创建索引的时候设置好,并且数据进来了之后就不能进行修改,如果要修改,只能重建索引。 现在有了 Shrink 接口,它可将分片数进行收缩成它的因数,如之前你是 15 个分片,你可以收...原创 2019-02-03 13:36:39 · 2833 阅读 · 0 评论 -
ElasticSearch调优
1、设计阶段调优1.每天定期段合并Segments查看内存占用:curl -s 'http://192.168.10.202:9200/_cat/indices?v' 备注:store.size 代表副分片内存占用 ; pri.store.size 代表主分片内存占用合并Segments: curl -s -XPOST 'http://192.1...原创 2019-02-02 21:11:27 · 387 阅读 · 0 评论 -
断电或重启集群elasticsearch,你所需要做的事!
正如我们在 水平扩容 讨论过, Elasticsearch 将自动在可用节点间进行分片均衡,包括新节点的加入和现有节点的离线。理论上来说,这个是理想的行为,我们想要提拔副本分片来尽快恢复丢失的主分片。 我们同时也希望保证资源在整个集群的均衡,用以避免热点。原创 2019-02-02 16:57:49 · 1664 阅读 · 0 评论 -
ElasticSearch集群数据迁移
背景 因为ES所在机器,有会大量占用cpu和内存的软件,导致ES运行不稳定甚至无法响应的问题。我们对ES的服务进行了迁移。迁移方法 我们使用的ES版本是2.3.3,现在已经更新到了5.x版本(当时5.6.1)。而且ES更新到5.x后,增加了很多新特性和性能的优化。因此,我们也正好准备借这次迁移,将ES给升级了。 最初迁移和升级方法是基于官网资料,得出的方法如下...原创 2019-01-08 10:54:14 · 643 阅读 · 0 评论