Elasticsearch
Elasticsearch
四月丶丶
越努力越幸运
展开
-
使用 BulkProcessor 批量导入mysql数据到Elasticsearch
1. pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.o原创 2020-11-24 18:59:37 · 801 阅读 · 1 评论 -
Elasticsearch 分布式集群调优策略
1. Index(写)调优1.1 副本数置0如果是集群首次灌入数据,可以将副本数设置为0,写入完毕再调整回去,这样副本分片只需要拷 贝,节省了索引过程。PUT /my_temp_index/_settings {"number_of_replicas": 0 }1.2 自动生成doc ID通过Elasticsearch写入流程可以看出,如果写入doc时如果外部指定了id,则Elasticsearch会先尝试 读取原来doc的版本号,以判断是否需要更新。这会涉及一次读取磁盘的操作,通过自动生原创 2020-11-23 17:07:45 · 263 阅读 · 0 评论 -
Elasticsearch 集群规划
1. 我们需要多大规模的集群需要从以下两个方面考虑:当前的数据量有多大?数据增长情况如何?你的机器配置如何?cpu、多大内存、多大硬盘容量?推算的依据:Elasticsearch JVM heap 最大可以设置32G 。30G heap 大概能处理的数据量 10 T。如果内存很大如128G,可在一台机器上运行多个ES节点实例。备注:集群规划满足当前数据规模+适量增长规模即可,后续可按需扩展。两类应用场景:A. 用于构建业务搜索功能模块,且多是垂直领域的搜索。数据量级几千万到数十亿级别。原创 2020-11-23 16:47:32 · 391 阅读 · 0 评论 -
Elasticsearch集群环境搭建
1. 简介此处搭建一个三个节点的集群环境,为了学习方便,我这边只在一台服务器上来演示主从环境。如果是虚拟机,调整虚拟机内存到3g以上操作系统服务器ip端口号是否能成为主节点centos7192.168.211.1369200是centos7192.168.211.1369201是centos7192.168.211.1369202是2. 核心概念2.1 集群(Cluster)一个Elasticsearch集群由多个节点(Node)组成,每个原创 2020-11-23 15:25:58 · 285 阅读 · 0 评论 -
Elasticsearch安装部署
1. 下载https://www.elastic.co/cn/downloads/elasticsearch2. 上传至服务器解压并重命名#上传scp elasticsearch-6.2.2.tar.gz root@ip://usr/local/#解压tar -zxvf elasticsearch-6.2.2.tar.gz#重命名mv elasticsearch-6.2.2 elasticsearch3. 修改配置文件并启动编辑elasticsearch.yml ,注意冒号后面有个空原创 2020-11-23 13:30:04 · 230 阅读 · 0 评论