- 博客(7)
- 收藏
- 关注
RSS订阅原创 Elasricsearch写入速度优化
Elasricsearch写入速度优化1.设置副本如果是集群首次批量写入，则可以将副本数设置为0，数据导入完成再设置回去。如此，副本片只需要复制，节省构建索引的过程。2.加大索引刷新间隔‘默认refresh_interval为1s，每次索引的refresh会产生一个新的段，这会导致频繁的段合并过程。可以加大时间间隔，甚至第一次数据导入可以设置为不刷新3.段合并优化segment merge操作对系统I/O和内存占用都比较高，如果只有一块硬盘并且非SSD，则应该把它设置为1，因为在旋转存储介质上
2020-11-30 16:43:11
172
原创 Elasricsearch搜索速度优化
Elasricsearch写入速度优化1.合理设置副本数量增加副本，可以提升搜索的能力。如果副本设置过多，会对服务器造成额外的压力，因为主分片需要给所有副本同步数据。另外，副本过多也会占用磁盘空间。一般建议最多设置2-3个即可。2.设置分片数量如果分片数过少或过多，都会导致检索比较慢。分片数过多会导致检索时打开比较多的文件，另外也会导致多台服务器之间通讯。而分片数过少会导至单个分片索引过大，所以检索速度也会慢。建议单个分片最多存储20G左右的索引数据，所以，分片数量=数据总量/20G2.
2020-11-30 16:42:45
636
原创 Elasticsearch-sql安装及使用
Elasticsearch-sql安装及使用：我用的es版本是7.4.1，所以安装对应版本的elasticsearch-sql-7.4.1.0.zip，安装命令：./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/7.4.1.0/elasticsearch-sql-7.4.1.0.zip安装成功后：安装成功后需要重启es，否则会报如下错误：安装
2020-11-30 14:46:32
1041
原创 Elasticsearch多种方案数据迁移
Elasticsearch数据迁移注意：Elasticsearch同版本数据迁移，只需将数据存储目录的文件拷贝到新集群path，重启es集群，即可自动recovery，迁移效率最快。这种方案需要重新给启动用户赋权限，然后es启动即可。不同版本可采取以下方案：方案1：使用Elasticsearch-Exporter迁移1.Elasticsearch-Exporter简介：将ES中的数据向其他导出的简单脚本实现。2.Elasticsearch-Exporter安装：npm install nomn
2020-11-30 14:39:51
8675
原创 java操作日志实现
以下是基于springboot+springcloud实现的操作日志功能第一步：定义日志注解SysLog/** * 操作日志注解 */@Target(ElementType.METHOD)@Retention(RetentionPolicy.RUNTIME)@Documentedpublic @interface SysLog { /** * 日志描述 ...
2019-07-25 11:04:46
3238
2
原创 Elasticsearch连接池设计实现
ss21222222222222222222222222222222222222222222222222222222222222222222222222222222222
2018-12-10 12:10:45
7202
9
原创 ElasticSearch中bulkProcesser使用遇到的问题
废话不多说，直接上代码。在批量插入的时候，我设置当请求超过1000个（条件一），或者总大小超过1024MB时（条件二），或者当请求个数和大小都不满足要求时我设置的是每30s（条件三）执行触发批量提交动作。但是当我实际运行的时候，180条数据几乎就是瞬间完成的。也就是说我设置的三个条件并没有生效。有没有大佬遇到过这种问题？我代码的问题在哪里？package com.yuguo.es.bulka...
2018-12-07 17:40:02
5049
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人