从零开始搭建Elasticsearch+kibana

从零开始搭建Elasticsearch+kibana

安装&配置

elasticsearch默认不允许以root账号运行
创建用户：

useradd dark

设置密码：

passwd dark

创建好了先放在那，等下全完工了再切

上传安装包和安装
所有安装文件的资料包：https://pan.baidu.com/s/1-GUS4VyjTdnZEAjLI2WBNA 提取码:j6cm
将安装包下的所有文件拷贝到/opt目录下，(2021-11-02补充：不能放在root目录下)
先解压es的安装包

tar -zxvf elasticsearch-7.6.0-linux-x86_64.tar.gz

重命名下目录

mv elasticsearch-7.6.0-linux-x86_6/ elasticsearch

修改配置文件

cd /opt/elasticsearch/config/

查看文件

ll

首先修改jvm.options这个文件

vim jvm.options

默认1g占用内存太高，改成512m，如果内存只有2G,建议改成256m

:wq保存
然后修改elasticsearch.yml这个文件

vim elasticsearch.yml

去掉node节点名称前的注释

配置日志和数据的路径

设置可访问的ip（端口默认9200和9300）# 注意:绑定到0.0.0.0，允许任何ip来访问

配置可访问的节点

万成后:wq保存
根据配置的日志和数据的存放路径添加文件夹

mkdir data
mkdir logs

如果你的Linux内核版本低于3.5，一会运行的时候是会报错的，报错信息如下

Elasticsearch的插件要求至少3.5以上版本
需要继续修改elasticsearch.yml文件，在最下面添加如下配置：

bootstrap.system_call_filter: false

elasticsearch.yml的其它可配置信息：

属性名	说明
cluster.name	配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。
node.name	节点名，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理
path.conf	设置配置文件的存储路径，tar或zip包安装默认在es根目录下的config文件夹，rpm安装默认在/etc/ elasticsearch
path.data	设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开
path.logs	设置日志文件的存储路径，默认是es根目录下的logs文件夹
path.plugins	设置插件的存放路径，默认是es根目录下的plugins文件夹
bootstrap.memory_lock	设置为true可以锁住ES使用的内存，避免内存进行swap
network.host	设置bind_host和publish_host，设置为0.0.0.0允许外网访问
http.port	设置对外服务的http端口，默认为9200。
transport.tcp.port	集群结点之间通信端口
discovery.zen.ping.timeout	设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些
discovery.zen.minimum_master_nodes	主结点数量的最少值 ,此值的公式为：(master_eligible_nodes / 2) + 1 ，比如：有3个符合要求的主结点，那么这里要设置为2

然后还要修改文件的权限，否则会报文件权限的错误

[1]: max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

修改配置文件:

vim /etc/security/limits.conf

添加下面的内容：

* soft nofile 65536

* hard nofile 131072

* soft nproc 4096

* hard nproc 4096

添加线程数，否则报错如下：

[1]: max number of threads [1024] for user [leyou] is too low, increase to at least [4096]

vim /etc/security/limits.d/90-nproc.conf 

修改下面的内容：

* soft nproc 1024

改为：

* soft nproc 4096

修改进程虚拟内存，否则报错如下:

[3]: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

vim /etc/sysctl.conf 

添加下面内容：

vm.max_map_count=655360

然后执行命令：

sysctl -p

所有错误修改完毕，一定要重启你的 Xshell终端，否则配置无效。

安装IK分词器

ik分词器的版本一定要和ES的版本一致
将资料包中的elasticsearch-analysis-ik-7.6.0解压到Elasticsearch目录的plugins目录中
使用unzip命令解压：

unzip elasticsearch-analysis-ik-6.3.0.zip -d ik-analyzer

没有unzip的需要yum install unzip下

修改文件权限，当前还是root的，要将其改为第一步新创建的 dark 用户
回到opt目录

cd /opt/
chown dark:dark elasticsearch -R

-R代表递归修改
完成后进入启动目录,切换开头创建的dark用户，启动ES

cd /opt/elasticsearch/bin
su dark
./elasticsearch

启动完成后，浏览器访问http://ip:9200

出现以上信息代表安装部署成功，下面是kibana,我用的是window版本,解压后先修该配置文件，在config/kibana.yml

elasticsearch.hosts: ["http://ip:9200"]

安装kibana

将下载好的kibana安装包上传到服务器 /opt 目录下，和以上的操作一样，解压，修改配置，运行，
kibana同样需要非root用户启动，修改配置的地方就是config/kibana.yml 中的server.host: “0.0.0.0” 就可以了，这样就能远程访问了，浏览器输入http://121.41.84.79:5601就能访问，
注意如果是阿里云服务器，以上的2个端口9200和5601需要开启安全组规则

基本概念

index – 索引集 – database 数据库
type – 类型 – table 数据表
document – 文档 – row 行
field – 字段 – columns 列