elk 环境搭建

安装jdk环境

yum install java-1.8.0-openjdk* -y

下载Elasticsearch最新版本

国内镜像地址：https://www.newbe.pro/Mirrors/Mirrors-Elasticsearch/

wget https://mirrors.huaweicloud.com/elasticsearch/7.7.0/elasticsearch-7.7.0-linux-x86_64.tar.gz

解压自己文件夹：tar zvxf elasticsearch-7.7.0-linux-x86_64.tar.gz

修改名字：mv elasticsearch-7.7.0-linux-x86_64.tar.gz elasticsearch

创建一个普通用户elk用来运行elasticsearch

groupadd elk

useradd -g elk elk -m

chown -R elk.elk /usr/local/elasticsearch/

创建一个elasticsearch数据存储目录，并赋予elk用户拥有所属权限

mkdir -p /data/elasticsearch

chown -R elk.elk /data/elasticsearch

修改elasticsearch配置文件

elasticsearch.yml

cluster.name: ELK-Cluster
node.name: node-1
path.data: /data/elasticsearch
path.logs: /usr/local/elasticsearch/logs
network.host: 192.168.0.197
http.port: 9200
cluster.initial_master_nodes: ["node-1"]

修改相关内核参数

echo "vm.max_map_count=65536" >> /etc/sysctl.conf

sysctl -p

vim /etc/security/limits.conf

* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536

启动

bin/elasticsearch -d

检查elasticsearch状态，如下则表示正常运行

curl http://192.168.0.197:9200

head插件安装

# 切换当前用户为root
su root
# 安装git
yum install git
cd /home/es/elasticsearch
# 将head插件的源码克隆到当前目录
git clone git://github.com/mobz/elasticsearch-head.git

# 安装node

sudo yum -y install nodejs

chown -R elk.elk /usr/local/ELK/elasticsearch-head/

# 在当前目录下安装构建工具grunt
npm install -g grunt-cli --registry=https://registry.npm.taobao.org

# 获取head需要的依赖包
npm install --registry=https://registry.npm.taobao.org

# 启动head插件
grunt server

elasticsearch配置插件

#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1。这里不宜设置过大。测试表示这里设置为2时，只有当前集群中活跃的节点不小于2个，head插件才能监测集群的状态（否则连接不到集群）。
discovery.zen.minimum_master_nodes: 2
# 提供向外交互的tcp端口
transport.tcp.port: 9300
# head插件相关的配置
http.cors.enabled: true
http.cors.allow-origin: "*"

安装Logstash

国内地址：https://mirrors.huaweicloud.com/logstash/6.4.2/

wget https://mirrors.huaweicloud.com/logstash/6.4.2/logstash-6.4.2.tar.gz

解压自己文件夹：tar zvxf logstash-6.4.2.tar.gz

修改名字：mv logstash-6.4.2.tar.gz logstash

修改apache.conf

input {
    file {
        path => "/usr/local/jxServer/temp.log"
        type => "temp-log"
	start_position => "beginning"
    }
}

output {
    elasticsearch {
        hosts => "192.168.0.197:9200"
        index => "apache_log-%{+YYYY.MM.dd}"
    }
}

指定配置文件运行logstash

/logstash -f /usr/local/logstash/config/apache.conf &
netstat -nlpt | grep 9600
tcp6       0      0 127.0.0.1:9600          :::*                    LISTEN      39739/java

安装kibana

国内地址：https://www.newbe.pro/Mirrors/Mirrors-Kibana/

wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.5.0-linux-x86_64.tar.gz

解压自己文件夹：tar zvxf kibana-7.5.0-linux-x86_64.tar.gz

修改名字：mv kibana-7.5.0-linux-x86_64.tar.gz kibana

./kibana --allow-root 查看是否能启动

修改配置文件 kibana.yml

server.port: 5601
server.host: "192.168.0.197"
server.name: "kibana"
elasticsearch.hosts: ["http://192.168.0.197:9200"]