Centos7部署ELK

Centos7部署ELK7.8.0

###下载7.8.0
    https://mirrors.huaweicloud.com/filebeat/7.8.0/filebeat-7.8.0-linux-x86_64.tar.gz
    https://mirrors.huaweicloud.com/logstash/7.8.0/logstash-7.8.0.tar.gz
    https://mirrors.huaweicloud.com/kibana/7.8.0/kibana-7.8.0-linux-x86_64.tar.gz
    https://mirrors.huaweicloud.com/elasticsearch/7.8.0/elasticsearch-7.8.0-linux-x86_64.tar.gz

###节点
    192.168.163.130 	redis，logstash，elasticsearch，kibana
    192.168.163.131 	filebeat
#关闭防火墙
    systemctl stop firewalld.service

1.安装jdk
    tar -zxvf 00/jdk-8u111-linux-x64.tar.gz 
    mv jdk1.8.0_111/ jdk1.8/
    vim /etc/bashrc
        export  JAVA_HOME=/opt/jdk1.8
        export  JRE_HOME=$JAVA_HOME/jre
        export  CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
        export  PATH=$JAVA_HOME/bin:$PATH
    source /etc/bashrc
2.源码安装redis
    tar zxf redis-3.2.9.tar.gz -C /opt
    cd /opt/redis-3.2.9
    make && make install PREFIX=/usr/local/redis 
    cp /opt/redis-3.2.9/redis.conf /usr/local/redis/bin/ 
    cd /usr/local/redis/bin/
    vim ./redis.conf
        daemonize yes                           #开启后台运行
        timeout 120                             #超时时间
        bind 0.0.0.0                            #任何地址IP都可以登录redis
        protected-mode no                       #关闭redis保护机制否则在没有密码校验情况下redis远程登录失败
    ./redis-server #前端启动
    ./redis-server redis.conf	#后台启动
    ./redis-cli	 #redis的连接，默认连接localhost运行在6379端口的redis服务：
    ./redis-cli -h 127.0.0.1 -p 6379 
    ./redis-cli shutdown	#关闭redis服务
3.安装Elasticsearch
    tar -zvxf elasticsearch-7.8.0.tar.gz
    vim /opt/elasticsearch-7.8.0/config/elasticsearch.yml
        #这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现
        cluster.name: my-application
        node.name: node-1
        
        #目录需要手动创建
        path.data: /data/appdata/elk
        path.logs: /data/applogs/elk
        
        #设置为true来锁住内存。因为内存交换到磁盘对服务器性能来说是致命的，当jvm开始swapping时es的效率会降低，所以要保证它不swap
        bootstrap.memory_lock: true

        #ES监听地址任意IP都可访问
        network.host: 0.0.0.0
        http.port: 9200
        
        cluster.initial_master_nodes: ["node-1"]
        
        # enable cors，保证_site类的插件可以访问es    
        http.cors.enabled: true             
        http.cors.allow-origin: "*"         
    vim /etc/sysctl.conf	#修改系统参数
        vm.max_map_count=655360	#添加参数,单个进程支持最大线程数
    sysctl -p	#重新载入配置
    vim /etc/security/limits.conf	#修改资源参数
        *   soft    nofile  65536
        *   hard    nofile  131072  
        *   soft    nproc   65536
        *   hard    nproc   131072 
        *   soft    memlock unlimited
        *   hard    memlock unlimited
    vim /etc/security/limits.d/20-nproc.conf	#设置用户资源参数
        elk     soft    nproc       65536	#添加
    #创建用户并赋权
        useradd elk
        groupadd elk
        useradd elk -g elk
    #创建数据和日志目录并修改目录权限
        mkdir -p /data/appdata/elk
        mkdir -p /data/applogs/elk
        chmod 777 -R /data
        chown -R elk:elk /opt/elasticsearch-7.8.0
    #切换用户并后台启动ES：(elk用户修改了资源参数，如不切位elk用户启动会暴毙)
        su elk
        nohup /opt/elasticsearch-7.8.0/bin/elasticsearch >> /dev/null 2>&1 &	#7.8版本兼容jdk1.8，可在bin/elasticsearch文件指定自带的jdk
    #查看ES状况
        http://192.168.163.130:9200/_search?pretty
4.安装ES的head插件（es图形界面）
    yum -y install nodejs npm git     #安装node.js、npm和git工具
    #安装nodejs的其他方法
        wget https://nodejs.org/dist/v14.15.1/node-v14.15.1-linux-x64.tar.xz
        tar -xJf node-v14.15.1-linux-x64.tar.xz
        ln -s /opt/node-v14.15.1-linux-x64/bin/node  /usr/local/bin/node
        ln -s /opt/node-v14.15.1-linux-x64/bin/npm /usr/local/bin/npm
    node -v
    npm -v
    npm config set registry http://registry.npm.taobao.org/	#修改源地址为淘宝npm镜像，加快下载速度
    npm install -g grunt-cli	#安装grunt
    ln -s /opt/node-v14.15.1-linux-x64/bin/grunt  /usr/local/bin/grunt
    git clone git://github.com/mobz/elasticsearch-head.git
    cd /opt/elasticsearch-head	#进入到head插件程序目录安装head所需的库和第三方框架
    npm install	#可能会报phantomjs-prebuilt错误，npm install phantomjs-prebuilt@2.1.16 --ignore-scripts
    #修改head的配置
        #(L97)在/opt/elasticsearch-head/Gruntfile.js文件中添加 http: '*'
            connect: {
                server: {
                    options: {
                        http: '*',
                        port: 9100,
                        base: '.',
                        keepalive: true
                    }
                }
            }
        #(L4388)修改head目录的配置文件/opt/elasticsearch-head/_site/app.js 找到如下内容：
            this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";  #将其中的"http://localhost:9200"; 改为"http://192.168.163.130:9200";示head插件将通过台ES机器访问es集群
    #启动head插件服务
        cd /opt/elasticsearch-head
        nohup npm run start >> /dev/null 2>&1 &  #后台行运
    #访问head插件
        http://192.168.163.130:9100
5.安装kibana（es图形界面）
#head是为了方便我们操作管理es，同时提供了可视化的数据查询界面，而kibana是一个数据可视化中间件，为了更直观的展示es的数据。
    tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz 
    vim /opt/kibana-7.8.0-linux-x86_64/config/kibana.yml	#修改内容如下：
        server.port: 5601	#开启默认端口5601
        server.host: "192.168.163.130"	#kibana站点IP
        elasticsearch.url: http://192.168.163.130:9200        
        kibana.index: ".kibana"
        i18n.locale: "zh-CN" 	#中文界面
    chown elk:elk /opt/kibana-7.8.0-linux-x86_64/ -R
    su elk
    nohup /opt/kibana-7.8.0-linux-x86_64/bin/kibana >> /dev/null 2>&1 &	#后台启动kibana
    #浏览器访问，刚访问的时候没有创建索引所以没有看不到数据
        http://192.168.163.130:5601
6.安装filebeat
#源码安装
    tar -zxvf filebeat-7.8.0-linux-x86_64.tar.gz -C /opt
    cd /opt/filebeat-7.8.0-linux-x86_64
    vim filebeat.yml
        enabled：true
        paths：程序日志路径
        output.redis: 
            hosts: ["192.168.163.130:6379"]
            key: elk_logs
    nohup /opt/filebeat-7.8.0-linux-x86_64/filebeat >> /dev/null 2>&1 &  
#yum安装
    cd /etc/yum.repos.d
    vim elk.repo
        [filebeat]
        name=Elasticsearch repository for 7.x packages
        baseurl=https://artifacts.elastic.co/packages/7.x/yum
        gpgcheck=0
        gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
        enabled=1
        autorefresh=1
        type=rpm-md
    yum -y install filebeat
    rpm -qc filebeat	#查看配置文件所在位置
    vim /etc/filebeat/filebeat.yml	#修改以下几个字段
        ...
    systemctl start filebeat	#启动后会同步日志至redis
7.安装logstash
    tar -zxvf logstash-7.8.0.tar.gz -C /opt
    cd /opt/logstash-7.8.0
    ./bin/logstash -e 'input { stdin { } } output { stdout {} }'	#测试logstash是否可用
    vim ./config/logstash-simple.conf	#创建主配文件进行测试
        input { stdin { } }
        output {
            stdout { codec=> rubydebug }
        }
    ./bin/logstash -f ./config/logstash-simple.conf	#使用logstash参数-f读取配置文件进行测试
    vim ./config/redis-spring.conf 	#创建配置文件获取redis日志的数据
        input {
          redis {
            port => "6379"
            host => "192.168.163.130"
            data_type => "list"
            type => "log"
            key => "elk_logs"
          }
        }
        output {
          elasticsearch {
             hosts => "192.168.163.130:9200"
             index => "logstash1-%{+YYYY.MM.dd}"
          }
        }
    nohup ./bin/logstash -f ./config/redis-spring.conf >> /dev/null 2>&1 &	#通过配置文件启动,启动后自动从redis读取数据
    curl http://192.168.163.130:9200/_search?pretty	#查看ES是否接受到数据