1、简介
Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作:
分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。
实时分析的分布式搜索引擎。
可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据
像天猫、京东这样的商城,用户访问商城的首页,一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多,而且分类繁杂。
如果能正确的显示出用户想要的商品,并进行合理的过滤,尽快促成交易,是搜索系统要研究的核心。
面对这样复杂的搜索业务和数据量,使用传统数据库搜索就显得力不从心,一般我们都会使用全文检索技术,比如Solr,Elasticsearch。
Elastic官网:https://www.elastic.co/cn/
Elastic有一条完整的产品线及解决方案:Elasticsearch、Kibana、Logstash等,前面说的三个就是大家常说的ELK技术栈。
Elasticsearch(官网:https://www.elastic.co/cn/products/elasticsearch )是Elastic Stack 的核心技术。详细介绍参考官网
Elasticsearch具备以下特点:
分布式,无需人工搭建集群(solr就需要人为配置,使用Zookeeper作为注册中心)
Restful风格,一切API都遵循Rest原则,容易上手近实时搜索,数据更新在Elasticsearch中几乎是完全同步的。
2、安装
为了模拟真实场景,我们将在linux下安装Elasticsearch。 虚拟机(需要JDK1.8以上)2.1:先新建一个用户(出于安全考虑,elasticsearch默认不允许以root账号运行。)
创建用户:useradd esuser
设置密码:passwd esuser
将es文件夹下的所有目录的所有权限迭代给esuser用户
进入es目录运行
chgrp -R esuser./es
chown -R esuser./es
chmod 777es
2.2:下载安装包
官网下载,选择linux版本:https://www.elastic.co/cn/products/elasticsearch ? ? ? ?? 翻墙下载比较快
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.3-linux-x86_64.tar.gz
2.3:解压
新建文件夹:mkdir es
解压:tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz
目录重命名:mv elasticsearch-7.9.3 elasticsearch
完成后,查看下目录结构:
2.4:修改配置文件
# 切换使用esuer用户
su esuser
# 进入config目录
cd config
1
需要修改的配置文件有两个:
Elasticsearch基于Lucene的,而Lucene底层是java实现,因此我们需要配置jvm参数。编辑jvm.options
vi jvm.options
1
修改默认配置:-Xms1g -Xmx1g
编辑elasticsearch.yml修改数据和日志目录
vi elasticsearch.yml
进入es的根目录,然后创建logs data
mkdir data
mkdir logs
elasticsearch.yml的其它可配置信息:
属性名
说明
cluster.name
配置elasticsearch的集群名称,默认是elasticsearch。建议修改成一个有意义的名称。
node.name
节点名,es会默认随机指定一个名字,建议指定一个有意义的名称,方便管理
path.conf
设置配置文件的存储路径,tar或zip包安装默认在es根目录下的config文件夹,rpm安装默认在/etc/ elasticsearch
path.data
设置索引数据的存储路径,默认是es根目录下的data文件夹,可以设置多个存储路径,用逗号隔开
path.logs
设置日志文件的存储路径,默认是es根目录下的logs文件夹
path.plugins
设置插件的存放路径,默认是es根目录下的plugins文件夹
bootstrap.memory_lock
设置为true可以锁住ES使用的内存,避免内存进行swap
network.host
设置bind_host和publish_host,设置为0.0.0.0允许外网访问
http.port
设置对外服务的http端口,默认为9200。
transport.tcp.port
集群结点之间通信端口
discovery.zen.ping.timeout
设置ES自动发现节点连接超时的时间,默认为3秒,如果网络延迟高可设置大些
discovery.zen.minimum_master_nodes
主结点数量的最少值 ,此值的公式为:(master_eligible_nodes / 2) + 1 ,比如:有3个符合要求的主结点,那么这里要设置为2
2.5:修改/etc/security/limits.conf文件 增加配置
vi /etc/security/limits.conf
在文件最后,增加如下配置:
* soft nofile 65536
* hard nofile 65536
在/etc/sysctl.conf文件最后添加一行 vm.max_map_count=655360 添加完毕之后,执行命令: sysctl -p
vi /etc/sysctl.conf
sysctl -p
2.6:启动
nohup elasticsearch &>/usr/local/es/logs/elasticsearch.log &
如果启动错误:
./elasticsearch-env: line 122: syntax error near unexpected token `('
则将其修改为;
将 done < <(env) 修改为 done <<< \'env\'
如果启动错误为:
报错-org.elasticsearch.bootstrap.BootstrapException: java.nio.file.AccessDeniedException
原因:elasticsearch.keystore文件没有权限
解决办法:切换到root用户修改文件elasticsearch.keystore权限
如果报错为:
received plaintext http traffic on an https channel, closing connection Netty4HttpChannel
[2022-02-16T21:08:50,085][WARN ][o.e.x.s.t.n.SecurityNetty4HttpServerTransport] [DESKTOP-VCT39JM] received plaintext http traffic on an https channel, closing connection Netty4HttpChannel{localAddress=/[0:0:0:0:0:0:0:1]:9200, remoteAddress=/[0:0:0:0:0:0:0:1]:1172}
解决
是因为开启了 ssl 认证。
在 ES/config/elasticsearch.yml 文件中把 xpack.security.http.ssl:enabled 设置成 false 即可
# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:
enabled: false
keystore.path: certs/http.p12
启动成功后可以看到绑定了两个端口:
1.查找ES进程
ps -ef | grep elastic
2.杀掉ES进程
kill -9 2382(进程号)
3.重启ES
elasticsearch -d (常驻)
然后使用./bin/elasticsearch -d 后台启动elasticsearch,去掉-d则是前端启动elasticsearch