linux系统下安装elasticsearch集群踩过的坑

最新推荐文章于 2023-02-22 20:27:19 发布

枫叶点旋律

最新推荐文章于 2023-02-22 20:27:19 发布

阅读量588

点赞数 1

分类专栏：项目搭建 java编程

本文链接：https://blog.csdn.net/jason763/article/details/89209338

版权

java编程同时被 2 个专栏收录

34 篇文章 0 订阅

订阅专栏

项目搭建

2 篇文章 0 订阅

订阅专栏

公司之前用的solr发现不太好用准备替换成es于是乎开始大刀阔斧的更换搜索服务器，本着有新版本不用旧版本的原则，所以刚搭好的基础环境，又得重新部署一遍。（重要的事记得说三遍！！！记笔记真的很重要，好记性不如烂笔头）

系统环境：centos7
软件版本：elasticsearch 6.4.0
es的运行是需要Java的环境的，这里默认大家已经安装好了，jdk.
_首先去官网下载es安装包：
https://www.elastic.co/downloads/elasticsearch

也可以直接 wget 加上下载地址。

接着解压安装包，用 tar -zxvf 跟上下载下来的文件就行了
这里需要注意一点的是：es默认root用户不能启动的，所以需要新建一个用户来启动es;

创建用户名为 es 的用户
useradd es
设置 es 用户的密码
passwd es

创建 es 的 data 和 logs 目录
mkdir elasticsearch-5.6.0/data
mkdir elasticsearch-5.6.0/logs

将 /usr/local/elasticsearch/elasticsearch-6.4.0 的拥有者设置为 es
chown -R es:es /usr/local/elasticsearch/elasticsearch-6.4.0

编辑配置文件config/elasticsearch.yml
network.host: 你自己的服务器ip
http.port: 9200

使用su命令来切换用户；

su es

bin/elasticsearch -d
注：-d 是后台启动，第一次启动不建议后台启动。
第一次启动的时候一般会报错，你需要看下日志
可能遇到的错误 1：
[1]: max file descriptors [4096] for elasticsearch process
is too low, increase to at least [65536]

解决办法：

# 切换到root用户修改
vim /etc/security/limits.conf

# 在最后面追加下面内容
es hard nofile 65536
es soft nofile 65536

修改完后，切换es用户使用如下命令查看是否修改成功：
ulimit -Hn
65536
可能遇到的错误 2：
[2]: max virtual memory areas vm.max_map_count [65530] is
too low, increase to at least [262144]

解决办法：

# 切换到root用户
vim /etc/sysctl.conf
# 在最后面追加下面内容
vm.max_map_count=262144
# 使用 sysctl -p 查看修改后的结果
sysctl -p

可能遇到的错误 3：
Java HotSpot™ 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=‘Cannot allocate memory’ (errno=12)

解决办法：
# 由于elasticsearch5.0默认分配jvm空间大小为2g，修改jvm空间分配
# 如果使用虚拟机安装，内存最好不小于2G
# vim config/jvm.options
-Xms512m
-Xmx512m

	单机版本建议整合es的head插件一起使用，这样体验性会更好哟。这里我不再赘述如何继承插件，网上一搜很多文章讲解。

单机版本搭建ok之后，我们开始搭建集群版本下面着重对es集群有关知识点进行记录。
在es安装目录中的config文件夹下的elasticsearch.yml文件中增加以下配置:
cluster.name: mycluster #集群名称
node.name: master#节点名称
node.master: false#是否是集群主节点主节点才增加这项目配置
network.host:192.168.0.151 #节点绑定ip地址
discovery.zen.ping.unicast.hosts: [“192.168.0.150”] #子节点中需要配置这项目的是字节点通过这个配置找到主节点

java api 可以通过两种方式来连接到elasticsearch（简称es）集群，第一种是通过在你的程序中创建一个嵌入es节点（Node），使之成为es集群的一部分，然后通过这个节点来与es集群通信。第二种方式是用TransportClient这个接口和es集群通信。

Node方式
参考链接：
https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/node-client.html

当你启动一个节点，它会自动加入同网段的es集群，一个前提就是es的集群名（cluster.name）这个参数要设置一致。
默认的话启动一个节点，es集群会自动给它分配一些索引的分片，如果你想这个节点仅仅作为一个客户端而不去保存数据，你就可以设置把node.data设置成false或 node.client设置成true。下面是例子：

Node node = NodeBuilder.nodeBuilder().clusterName(clusterName).client(true).node();
还有一种情况是你并不想把节点加入集群，只想用它进行单元测试时，就要启动一个“本地”的es，这里“本地”指的是在jvm的级别下运行，即两个不同的es节点运行在同一个JVM中时会组成一个集群。它需要把节点的local参数设置成true，下面是例子：
Node node = nodeBuilder().local(true).node();
创建嵌入节点的方式如下：
//node中不能设置的属性可以通过build的settings来设置，如一下设置本地数据存储路径

Settings settings = ImmutableSettings.settingsBuilder()
.put(“path.data”, “D:\esdata”)//设置数据存储路径
.build();
Node node = NodeBuilder.nodeBuilder()
//设置集群名，要与连接的集群名一致，并在同一网段下,也可以设置cluster.name属性值指定
.clusterName(“estest144”)
.settings(settings)//配置节点其他的配置信息
//本地是否存储数据，与node.data setting配置对应
.data(false)
//是否只为客户端，即data属性为false，不存数据
.client(true)
//是否只连接本地节点，设置为false则可以连接除了本地JVM以外的ES节点
//如果设置为true，则只能发现同一个JVM内部的ES几点，其他节点不会被发现，单元测//试时可以设置为false
.local(false)
.node();
Client client = node.client();
如果把client设置为false和data属性设置为true,则该节点将存储数据，如开启该节点之前只有节点Equinox(节点名字)节点，启动该node后，发现已经从集群中进行了数据平衡操作。

关闭节点并停止该节点运行方法：
node.close();
2. Transport Client方式
参考链接：
https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/transport-client.html
通过TransportClient这个接口，我们可以不启动节点就可以和es集群进行通信，它需要指定es集群中其中一台或多台机的ip地址和端口，例子如下：

   Client client = new TransportClient()   
        .addTransportAddress(new InetSocketTransportAddress("host1", 9300))   
        .addTransportAddress(new InetSocketTransportAddress("host2", 9300));   
   client.close();

如果你需要更改集群名（默认是elasticsearch），需要如下设置：
Settings settings = ImmutableSettings.settingsBuilder()
.put(“cluster.name”, “myClusterName”).build();
Client client = new TransportClient(settings);
你可以设置client.transport.sniff为true来使客户端去嗅探整个集群的状态，把集群中其它机器的ip地址加到客户端中，这样做的好处是一般你不用手动设置集群里所有集群的ip到连接客户端，它会自动帮你添加，并且自动发现新加入集群的机器。代码实例如下：
Settings settings = ImmutableSettings.settingsBuilder()
.put(“client.transport.sniff”, true).build();
TransportClient client = new TransportClient(settings);
其他配置项：

client.transport.ignore_cluster_name：设置为true时忽略集群名验证；
client.transport.ping_timeout：等待ping命令返回结果时间，默认为5秒；
client.transport.nodes_sampler_interval：节点之间互相ping，互连检测时间间隔；
实际环境中直接使用Transport Client即可。

客户端伪代码进行api操作我这里不再贴出，我这边整理了一些链接有需要朋友可以去瞅瞅。

博考参考:
https://blog.csdn.net/moxiong3212/article/details/79345273
https://blog.csdn.net/u012272186/article/details/75070426
理解el与mysql区别:
https://blog.csdn.net/jek123456/article/details/67639640
el服务java封装的增删改查操作
https://www.cnblogs.com/xbq8080/p/8995051.html
elasticsearch的java客户端与集群交互
https://blog.csdn.net/likui1314159/article/details/51726767
mysql数据同步到es方案:
https://blog.csdn.net/kingice1014/article/details/72413196

https://my.oschina.net/xiaowangqiongyou/blog/1812708

https://blog.csdn.net/michaelwubo/article/details/82352388

枫叶点旋律

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
linux系统下安装elasticsearch集群踩过的坑

公司之前用的solr发现不太好用准备替换成es于是乎开始大刀阔斧的更换搜索服务器，本着有新版本不用旧版本的原则，所以刚搭好的基础环境，又得重新部署一遍。（重要的事记得说三遍！！！记笔记真的很重要，好记性不如烂笔头）系统环境：centos7软件版本：elasticsearch 6.4.0es的运行是需要Java的环境的，这里默认大家已经安装好了，jdk._首先去官网下载es安装包：htt...
复制链接

扫一扫