Centos7下安装ELK日志中心

Centos7下安装ELK日志中心

安装jdk

安装jdk1.8版本即可，这里不做过多描述

安装elasticsearch

下载elasticsearch

mkdir usr/local/elk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.1.tar.gz
tar -zxvf elasticsearch-6.6.1.tar.gz
rm elasticsearch-6.6.1.tar.gz
mv elasticsearch-6.6.1.tar.gz elasticsearch

修改配置文件

修改elasticsearch.yml
放开并修改
path.data: /usr/local/elk/elasticsearch/data
path.logs: /usr/local/elk/elasticsearch/logs
network.host: 0.0.0.0
http.port: 9200
解决跨域问题，新增配置行
http.cors.enabled: true
http.cors.allow-origin: "*"

修改limits.conf

vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
修改20-nproc.conf
vim /etc/security/limits.d/20-nproc.conf
如果*          soft    nproc     4096则不用修改，否则修改为4096
修改sysctl.conf
vim /etc/sysctl.conf
新增两行
vm.max_map_count = 655360
fs.file-max = 655360
保存
sysctl -p  重启
使用非root用户启动（强制，否则处于安全性启动会失败）
adduser elasticsearch
密码随便输入
passwd elasticsearch
给文件夹赋予用户权限
chown -R elasticsearch elasticsearch
切换用户
su elasticsearch
启动elasticsearch
在elasticsearch目录下输入./bin/elasticsearch -d    后台启动

访问http://ip:9200/

安装elasticsearch-Head

安装nodeJs

下载
wget https://nodejs.org/dist/v10.15.3/node-v10.15.3-linux-x64.tar.xz
解压
xz -d node-v10.15.3-linux-x64.tar.xz
tar -xvf node-v10.15.3-linux-x64.tar
mv node-v10.15.3-linux-x64/ nodejs
配置nodeJs
vim /etc/profile
export NODE_HOME=/路径/nodejs
export PATH=$PATH:$NODE_HOME/bin
source /etc/profile
下载head
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
解压zip文件，如果报错。安装uzip再次解压
yum -y install unzip
mv elasticsearch-head-master/ elasticsearch-head
进入head目录编译（为了快速编译，使用淘宝的npm）
npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm install

注意！！！！！！！！！重点来了。 编译很可能会报错，不要急，按照错误一个一个手动的下载依赖的js就可以
我这里缺少的是phantomjs，直接安装即可

wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
重新cnpm install
编译通过后使用cnpm run start启动环境测试。端口是9100
nohup cnpm run start &> run.log &

安装kibana

下载kibana
下载，解压，重命名
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.6.1-linux-x86_64.tar.gz
修改配置
这发现一个版本问题。 下载es的版本kbn的版本会出现不兼容的情况
es升级成6.6.1解决问题
启动
nohup ./bin/kibana -H 0.0.0.0 &
安装logstash
下载logstash
下载，解压，重命名
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.2.tar.gz
创建新的配置文件
vim /usr/local/elk/logstash/config/test.conf
写入内容
input {
        file {
                path => ["/tmp/test_data"]
                codec => json {
                        charset => "UTF-8"
                }
        }
}
output {
        elasticsearch {
                hosts => "127.0.0.1"
                index => "logstash-%{+YYYY.MM.dd}"
                document_type => "test"
        }
}

启动
指定配置文件启动（启动比较慢）

./bin/logstash -f config/test.conf 先看一下有没有报错，如果没有报错，后台启动
nohup ./bin/logstash -f config/test.conf &