从零开始搭建Elasticsearch+kibana
安装&配置
elasticsearch默认不允许以root账号运行
创建用户:
useradd dark
设置密码:
passwd dark
创建好了先放在那,等下全完工了再切
上传安装包和安装
所有安装文件的资料包:https://pan.baidu.com/s/1-GUS4VyjTdnZEAjLI2WBNA 提取码:j6cm
将安装包下的所有文件拷贝到/opt目录下,(2021-11-02补充:不能放在root目录下)
先解压es的安装包
tar -zxvf elasticsearch-7.6.0-linux-x86_64.tar.gz
重命名下目录
mv elasticsearch-7.6.0-linux-x86_6/ elasticsearch
修改配置文件
cd /opt/elasticsearch/config/
查看文件
ll
首先修改jvm.options这个文件
vim jvm.options
默认1g占用内存太高,改成512m,如果内存只有2G,建议改成256m
:wq保存
然后修改elasticsearch.yml这个文件
vim elasticsearch.yml
去掉node节点名称前的注释
配置日志和数据的路径
设置可访问的ip(端口默认9200和9300)# 注意:绑定到0.0.0.0,允许任何ip来访问
配置可访问的节点
万成后:wq保存
根据配置的日志和数据的存放路径添加文件夹
mkdir data
mkdir logs
如果你的Linux内核版本低于3.5,一会运行的时候是会报错的,报错信息如下
Elasticsearch的插件要求至少3.5以上版本
需要继续修改elasticsearch.yml文件,在最下面添加如下配置:
bootstrap.system_call_filter: false
elasticsearch.yml的其它可配置信息:
属性名 | 说明 |
---|---|
cluster.name | 配置elasticsearch的集群名称,默认是elasticsearch。建议修改成一个有意义的名称。 |
node.name | 节点名,es会默认随机指定一个名字,建议指定一个有意义的名称,方便管理 |
path.conf | 设置配置文件的存储路径,tar或zip包安装默认在es根目录下的config文件夹,rpm安装默认在/etc/ elasticsearch |
path.data | 设置索引数据的存储路径,默认是es根目录下的data文件夹,可以设置多个存储路径,用逗号隔开 |
path.logs | 设置日志文件的存储路径,默认是es根目录下的logs文件夹 |
path.plugins | 设置插件的存放路径,默认是es根目录下的plugins文件夹 |
bootstrap.memory_lock | 设置为true可以锁住ES使用的内存,避免内存进行swap |
network.host | 设置bind_host和publish_host,设置为0.0.0.0允许外网访问 |
http.port | 设置对外服务的http端口,默认为9200。 |
transport.tcp.port | 集群结点之间通信端口 |
discovery.zen.ping.timeout | 设置ES自动发现节点连接超时的时间,默认为3秒,如果网络延迟高可设置大些 |
discovery.zen.minimum_master_nodes | 主结点数量的最少值 ,此值的公式为:(master_eligible_nodes / 2) + 1 ,比如:有3个符合要求的主结点,那么这里要设置为2 |
然后还要修改文件的权限,否则会报文件权限的错误
[1]: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
修改配置文件:
vim /etc/security/limits.conf
添加下面的内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096
添加线程数,否则报错如下:
[1]: max number of threads [1024] for user [leyou] is too low, increase to at least [4096]
vim /etc/security/limits.d/90-nproc.conf
修改下面的内容:
* soft nproc 1024
改为:
* soft nproc 4096
修改进程虚拟内存,否则报错如下:
[3]: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
vim /etc/sysctl.conf
添加下面内容:
vm.max_map_count=655360
然后执行命令:
sysctl -p
所有错误修改完毕,一定要重启你的 Xshell终端,否则配置无效。
安装IK分词器
ik分词器的版本一定要和ES的版本一致
将资料包中的elasticsearch-analysis-ik-7.6.0解压到Elasticsearch目录的plugins目录中
使用unzip命令解压:
unzip elasticsearch-analysis-ik-6.3.0.zip -d ik-analyzer
没有unzip的需要yum install unzip下
修改文件权限,当前还是root的,要将其改为第一步新创建的 dark 用户
回到opt目录
cd /opt/
chown dark:dark elasticsearch -R
-R代表递归修改
完成后进入启动目录,切换开头创建的dark用户,启动ES
cd /opt/elasticsearch/bin
su dark
./elasticsearch
启动完成后,浏览器访问http://ip:9200
出现以上信息代表安装部署成功,下面是kibana,我用的是window版本,解压后先修该配置文件,在config/kibana.yml
elasticsearch.hosts: ["http://ip:9200"]
安装kibana
将下载好的kibana安装包上传到服务器 /opt 目录下,和以上的操作一样,解压,修改配置,运行,
kibana同样需要非root用户启动,修改配置的地方就是config/kibana.yml 中的server.host: “0.0.0.0” 就可以了,这样就能远程访问了,浏览器输入http://121.41.84.79:5601就能访问,
注意如果是阿里云服务器,以上的2个端口9200和5601需要开启安全组规则
基本概念
index – 索引集 – database 数据库
type – 类型 – table 数据表
document – 文档 – row 行
field – 字段 – columns 列