ELK搭建过程

一、下载最新版本的ES、Logstash和Filebeat包

地址：https://www.elastic.co/cn/downloads/

Linux系统版本为CentOS release 6.5

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-linux-x86_64.tar.gz

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz

二、安装ES

tar -zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz

修改配置文件elasticsearch.yml

#配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

cluster.name: openapi

#节点名称

node.name: test

#设置索引数据的存储路径

path.data: /opt/supp_app/es/data

#设置日志的存储路径

path.logs: /opt/supp_app/es/logs

#设置当前的ip地址,通过指定相同网段的其他节点会加入该集群中

network.host: 0.0.0.0 如果要开启远程访问需要设置为0.0.0.0，意思是允许任意IP连接

#设置对外服务的http端口

http.port: 9200

#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点

discovery.zen.ping.unicast.hosts: ["127.0.0.1","10.10.10.34:9200"]

设置节点个数

discovery.zen.ping.unicast.hosts: [ "172.17.33.142" ]

discovery.zen.minimum_master_nodes: 1

创建数据和日志路径

启动es(命令：bin/elasticsearch JDK兼容问题 需要安装JDK1.8)

修改bin/elasticsearch文件

export JAVA_HOME=/opt/web_app/jdk1.8.0_74/

export PATH=$JAVA_HOME/bin:$PATH

启动前需要修改配置文件(需要权限)

1、设置内核参数

vim /etc/sysctl.conf

添加如下内容:

fs.file-max=65536

vm.max_map_count=262144

之后可以使用sysctl –a查看 –p刷新

2、设置资源参数

vim /etc/security/limits.conf

添加如下内容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 4096

3、修改进程数

vim /etc/security/limits.d/20-nproc.conf

修改( * soft nproc )的值为2048

启动ES

bin/elasticsearch -d(加-d 后台启动 ctrl+C不会关闭es)

es启动监听两个端口，9300和9200

9300端口是使用tcp客户端连接使用的端口；

9200端口是通过http协议连接es使用的端口；

三、安装Logstash

tar -zxvf logstash-7.1.1.tar.gz

新增配置文件logstash.conf

配置文件中指定ES的部署位置和记录数据的格式

修改bin/logstash文件

export JAVA_CMD="/opt/web_app/jdk1.8.0_74/bin"

export JAVA_HOME="/opt/web_app/jdk1.8.0_74/"

进入到logstash根目录，启动Logstash

nohup bin/logstash -f config/logstash.conf &

四、安装FileBeat

tar -zxvf filebeat-7.1.1-linux-x86_64.tar.gz

mv filebeat-7.1.1-linux-x86_64 filebeat-7.1.1

修改配置文件filebeat.yml

两个配置项：paths和hosts

paths为收集日志的详细路径

hosts为Logstash的IP+端口

启动filebeat

nohup ./filebeat -e -c filebeat.yml &

五、安装ES-head

安装nodeJS

npm

grunt

vi Gruntfile.js 修改IP和端口

vim _site/app.js 修改IP

安装grunt-contrib-jasmine

npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org

grunt server &

 

遇到的问题：（自行百度即可）

ES与JDK版本不兼容问题

ES启动失败：权限（新加用户，并赋权限，用新加用户启动ES）；节点配置（单个/集群）；内存设置过小；线程数设置过少（修改配置文件）

Logstash与JDK版本不兼容问题

ES-head安装（grunt失败）

支撑ES查询与JDK，tomcat版本不兼容问题