版本说明
- CentOS 7.2
- elasticsearch-6.6.0.tar.gz
- kibana-6.6.0-linux-x86_64.tar.gz
- logstash-6.6.0.tar.gz
安装包获取链接
链接:https://pan.baidu.com/s/1bs1kBuFAvVbPcEEALG1dsg
提取码:txnd
安装 es
修改Linux配置
- 修改内核参数
打开 sysctl.conf 文件
vim /etc/sysctl.conf
sysctl.conf 文件添加如下内容
fs.file-max=65536
vm.max_map_count=262144
刷新配置
sysctl -p
- 设置资源参数(前面的 “*” 表示该配置对所有用户生效)
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
- 修改进程数
vim /etc/security/limits.d/20-nproc.conf
添加如下内容(有则修改,无则添加)
* soft nproc 4096
- 配置完成后,关闭 XShell 的连接窗口重新打开一个,否则不会对当前的用户生效
- 创建一个新的用户,并赋予 es 安装目录的权限
useradd elasticsearch
passwd elasticsearch
密码自定义哦
- 给新用户授权
chown -R elasticsearch es 的安装目录
修改 es 的配置文件
- 进入 es 解压目录下的 confg 文件夹
- 打开 elasticsearch.yml 文件进行修改,配置如下:
# 配置es的集群名称, es会自动发现在同一网段下的es,如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。
cluster.name: bi-cluster
# 节点名称
node.name: node-master
# 存储数据的目录
path.data: /home/elasticsearch/data
# 存储日志的目录
path.logs: /home/elasticsearch/logs
# 设置绑定的ip地址还有其它节点和该节点交互的ip地址
network.host: 0.0.0.0
# 指定http端口,你使用head、kopf等相关插件使用的端口
http.port: 9200
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
#设置集群中master节点的初始列表,可以通过这些节点来自动发现新加入集群的节点。
discovery.zen.ping.unicast.hosts: ["ip1:port1", "ip2:port2", "ip3:port3"]
#如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失
discovery.zen.minimum_master_nodes: 3
http.cors.enabled: true #es5.x版本以上需要,head访问
http.cors.allow-origin: "*"
#某些系统需要 是因为centos6.x操作系统不支持SecComp,而elasticsearch 5.5.2默认 bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致 es 不能启动。
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
- 打开 config 目录下的 jvm.options 文件,修改 es 启动的内存大小如下(默认是 1g 如果内存足够可不修改,生产环境根据自身需求来修改)
-Xms512m
-Xmx512m
启动 es
- 切换至新创建的用户
su elasticsearch
- 启动,进入 es 的目录后台启动
./bin/elasticsearch -d
- 验证是否启动成功
curl 127.0.0.1:19200
出现如下结果则启动成功
安装 kibana
- 解压 kibana-6.6.0-linux-x86_64.tar.gz
tar -xvf kibana-6.6.0-linux-x86_64.tar.gz
- 在 kibana.yml 文件添加如下配置
server.port: 访问 kibana 的端口
server.host: "0.0.0.0"
安装 es 的访问地址
elasticsearch.hosts: ["http://ip:port"]
- 启动 kibana
nohup ./bin/kibana &
- 验证 kibana 是否启动成功,使用命令打开日志文件
使用 3 步骤的命令允许 kibana 会将日志输出到 nohup.out文件中
tail -f nohup.out
- 如果启动成功,则可看到如下图所示
安装 logstash
- 解压 logstash-6.6.0.tar.gz
tar -zxvf logstash-6.6.0.tar.gz
- 进入 logstash-6.6.0/config 文件夹,修改 jvm.options 参数
默认是 1g,可根据实际需求修改
-Xms512m
-Xmx512m
- 创建 logstash.conf 配置文件并编辑
touch logstash.conf
文件内容如下
# 日志采集的入库
input {
file {
type => "log"
## 采集的路径,支持带 * 的正则表达式
path => ["/home/*/mylog.log"]
## 从 end 开始读取,保证不会从头开始读,从上次读取的末尾开始
start_position => "end"
ignore_older => 0
codec=> multiline {
## 将换行的日志合并成一行,根据自身需求修改该正则
pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
negate => true
## 每 5 秒钟刷新一次,来做日志收集
auto_flush_interval => 5
## 往前面合并
what => "previous"
}
}
beats {
## 端口配置
port => 5044
}
}
## 输出的地方
output {
if [type] == "log" {
elasticsearch {
## es 的路径
hosts => ["http://127.0.0.1:19200"]
## 每一个月建立一个索引,可根据实际需求修改
index => "logstash-%{+YYYY.MM}"
}
}
}
- logstash 指定配置文件启动
./bin/logstash -f logstash.conf
- 如下图则启动成功
至此,ELK 安装部署完成,感觉有用就点个赞吧!!!