实战 | ELK6.8.12环境部署

简介信息

ELK是一款开源的海量日志搜索分析平台，能够完美的解决我们上述的问题，对日志进行集中采集和实时索引，提供实时搜索、分析、可视化、报警等功能，帮助企业在统一平台实时管理日志数据，进行线上业务实时监控、异常原因定位、数据统计分析。

• Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统；它构建于Apache Lucene搜索引擎库之上

• Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。

• Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。

• Filebeat是一个轻量型日志采集器，用于转发和汇总日志与文件。

基础环境

服务器基础信息

服务器信息	系统版本	组件信息
10.20.21.21 (Master)	Centos7.6	Elasticsearch、Logstash、Kibana、Redis
10.20.21.46 (Slave)	Centos7.6	Elasticsearch、Logstash、Kibana、Redis
10.20.21.33	Windows2012	Filebeat

• Elasticsearch配置文件路径/usr/local/src/tyuninstall/elasticsearch/config/elasticsearch.yml

• Logstash的配置文件路径信息/usr/local/src/tyuninstall/logstash/conf.d/和/usr/local/src/tyuninstall/logstash/config/logstash.yml

• Kibana配置文件路径/usr/local/src/tyuninstall/kibana/config/kibana.yml

• Redis 配置文件路径信息/etc/redis/6379.conf

系统常用初始化

1. yum环境包安装

   mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
   mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.bak
   wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
   wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
   
   yum install -y net-tools vim lrzsz tree screen lsof   wget chrony     telnet    gcc gcc-c++ tcl   iptables-services   nmap  sysstat dos2unix   bash-completion.noarch  curl ruby ruby-devel rubygems rpm-build  make jemalloc-devel    automake autoconf libtool   tcl binutils 
   glibc glibc-kernheaders glibc-common glibc-devel
   

2. 防火墙

   systemctl stop firewalld
   systemctl disable firewalld
   
   iptables -L
   iptables -F
   iptables -X
   
   vim /etc/sysconfig/iptables
   -A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT
   -A INPUT -p tcp -m state --state NEW -m tcp --dport 5601 -j ACCEPT
   -A INPUT -p tcp -m state --state NEW -m tcp --dport 6379 -j ACCEPT
   -A INPUT -p tcp -m state --state NEW -m tcp --dport 9200 -j ACCEPT
   -A INPUT -p tcp -m state --state NEW -m tcp --dport 9300 -j ACCEPT
   
   systemctl restart iptables.service
   systemctl enable iptables.service 
   

3. Selinux

     setenforce 0  临时生效selinux
    sed -i 's/^SELINUX=.*$/SELINUX=disabled/' /etc/selinux/config
   

4. 主机名称

   hostnamectl set-hostname  10-20-21-21
   bash
   

5. zabbix监控

   rpm -Uvh http://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-2.el7.noarch.rpm
   
   vim /etc/yum.repos.d/zabbix.repo
   [zabbix]
   name=Zabbix Official Repository - $basearch
   baseurl=https://mirrors.aliyun.com/zabbix/zabbix/4.0/rhel/7/$basearch/
   enabled=1
   gpgcheck=1
   gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX-A14FE591
   
   [zabbix-non-supported]
   name=Zabbix Official Repository non-supported - $basearch
   baseurl=https://mirrors.aliyun.com/zabbix/non-supported/rhel/7/$basearch/
   enabled=1
   gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX
   gpgcheck=1
   
   yum install -y zabbix-agent
   service zabbix-agent restart
   systemctl enable zabbix-agent
   

6. 环境变量

   JAVA下载 https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html#license-lightbox
   
    tar zxf jdk-8u261-linux-x64.tar.gz -C /usr/local/src/tyuninstall/
    cd /usr/local/src/tyuninstall/
    mv jdk1.8.0_261/ jdk
   

   vim /etc/profile
   
   export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL #第53行下面添加
   export JAVA_HOME=/usr/local/src/tyuninstall/jdk
   export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
   export PATH=$PATH:$JAVA_HOME/bin
   
   source  /etc/profile
   
   java -version  版本查看   java version "1.8.0_261"
   

7. 时间同步

   systemctl start chronyd && systemctl enable chronyd
   timedatectl set-timezone Asia/Shanghai && timedatectl set-ntp yes
   

8. hosts文件修改

   echo "10.20.21.21 10-20-21-21">> /etc/hosts
   echo "10.20.21.46 10-20-21-46">> /etc/hosts
   

系统优化

1. 内核配置

   vim /etc/sysctl.conf
   net.ipv6.conf.all.disable_ipv6 = 1
   net.ipv6.conf.default.disable_ipv6 = 1
   vm.max_map_count = 655360
   net.core.somaxconn=65535
   net.ipv4.ip_forward = 1
   fs.file-max=1645037
   vm.swappiness=1
   
   sysctl -p
   

2. 文件限制

   vim /etc/security/limits.conf
   * soft nofile 65536
   * hard nofile 65536
   * soft nproc 65536
   * hard nproc 65536
   * soft memlock unlimited
   * hard memlock unlimited
   
   egrep -v "^$|#" /etc/security/limits.conf
   
   ulimit -SHn  65536
   ulimit -a
   

   vim /etc/security/limits.d/20-nproc.conf
   *          soft    nproc     4096
   

环境包下载

• 软件目录与软件官网地址

  软件下载目录`/usr/local/src/tiopspage/`
  软件安装目录 `/usr/local/src/tyuninstall/`
  mkdir -p  /usr/local/src/{tiopspage,tyuninstall}
  

官方下载地址 https://www.elastic.co/cn/downloads/

Elasticsearch 6.8.12 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.12.tar.gz

Logstash6.8.12 https://artifacts.elastic.co/downloads/logstash/logstash-6.8.12.tar.gz

Kibana6.8.12 https://artifacts.elastic.co/downloads/kibana/kibana-6.8.12-linux-x86_64.tar.gz

Filebeat6.8.12 https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.8.12-windows-x86_64.zip

Redis5.0.9 http://download.redis.io/releases/redis-5.0.9.tar.gz

应用部署搭建

• Redis