介绍
Elasticsearch 是一个基于 Lucene 的分布式全文搜索引擎和数据分析引擎,它能够快速地存储、搜索和分析海量数据。除了搜索和分析功能外,Elasticsearch 还能够实时地存储和处理数据,因此它也被广泛应用于实时数据分析和实时搜索场景中。。
Elasticsearch 使用分词器来将文本内容分成适合于索引和搜索的词条。分词器是一个将文本转换为词条的程序,例如用于将句子分为单词的程序。Elasticsearch 默认使用标准分词器,但其也支持自定义分词器,例如 HanLP 分词器。
HanLP 是一个基于 Java 的自然语言处理工具包,它提供了中文分词、词性标注、命名实体识别、依存句法分析等多种自然语言处理功能。HanLP 已经成为中文自然语言处理领域中非常流行的工具包之一。为了更好地集成 HanLP 分词器, Elasticsearch 社区开发了一个 HanLP 分词器插件。该插件支持 HanLP 中的多种分词器,并提供了自定义词典和过滤器等功能,。使用 HanLP 分词器插件的 Elasticsearch 集群可以更准确地搜索和分析中文文本,并提供更好的用户服务。
准备
由于公司的数据都放在/data下 所以在/data下创建elastic目录 将ES的包放统一目录下 方便管理
同时创建elastic用户 因为Elasticsearch 要求使用一个非特权用户来运行服务。这个非特权用户应该只有对 Elasticsearch 安装目录和数据目录的访问权限,并且不能对系统中的其他文件或进程进行修改。这样可以保证 Elasticsearch 运行时的安全性,并减少潜在的系统安全风险
将/data/elastic 目录所有权给到elastic用户
mkdir /data/elastic
useradd elastic
chown -R elastic:elastic /data/elastic
#设置密码
passwd elastic
上传es安装包并解压到elastic目录下
这是es的官网地址需要自定义版本的可以去这里找
这是我的百度网盘地址
提取码:1fb6
wget https://repo.huaweicloud.com/elasticsearch/7.9.0/elasticsearch-7.9.0-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.9.0-linux-x86_64.tar.gz -C /data/elastic
配置
进入es配置文件目录并打开配置文件
cd /data/elastic/elasticsearch-7.9.0
#进入配置文件目录
cd config
#打开配置文件
vim elasticsearch.yml
在文件最下面添加
cluster.name: elasticsearch
node.name: node-1
network.host: 127.0.0.1 #将127.0.0.1改为你的IP地址
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
http.cors.enabled: true
http.cors.allow-origin: "*"
按照需要修改内存设置
vim /usr/elasticsearch/config/jvm.options
默认都是1G 但是开机占用700M 还有head插件 基本就运行不了了
修改/etc/sysctl.conf文件 用来控制单个进程能够拥有的虚拟内存的数量 Elasticsearch 在启动和运行过程中,需要创建大量的内存映射文件来管理索引和存储数据,因此它需要适当的 vm.max_map_count
配置
文件末尾添加
vim /etc/sysctl.conf
vm.max_map_count=655360
添加完保存退出 执行命令使其生效
sysctl -p
修改文件/etc/security/limits.conf 在文件末尾添加
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
在 Elasticsearch 中,这些参数通常是需要调整的。例如,如果 Elasticsearch 数据目录中的文件数超过了默认限制,则可以将 nofile
参数设置为更高的值,以避免出现文件打开错误。同样,如果 Elasticsearch 同时运行了较多的进程,则可以将 nproc
参数设置为更高的值。但是,请注意,将 ulimit 参数设置得过高可能会导致系统资源耗尽,因此应根据实际情况设置合理的值
启动
切换到elastic用户并启动 启动文件在es安装目录下的bin目录下 叫elasticsearch
su - elastic
cd /data/elastic/elasticsearch-7.9.0/bin
nohup ./elasticsearch &
访问出现以下页面代表启动成功