elasticsearch6.x.x logstash6.x.x kibana6.x.x Filebeat6.x 配置及安装 CentOS7.3或更高

最新推荐文章于 2022-09-09 13:09:31 发布

风.foxwho

最新推荐文章于 2022-09-09 13:09:31 发布

阅读量4k

点赞数

分类专栏：搜索引擎大数据相关文章标签： centos elasticsearch logstash kibana filebeat

本文链接：https://blog.csdn.net/fenglailea/article/details/78711293

版权

搜索引擎同时被 2 个专栏收录

18 篇文章 1 订阅

订阅专栏

大数据相关

18 篇文章 0 订阅

订阅专栏

环境说明
系统:Centos7.3
最低内存：4G
JAVA: 8.XXXX

默认已root用户执行
风.foxiswho

centos 防火墙设置

要开启端口，否则，除本机外，其他任何机器不能访问

方式一开放9200 端口(其他端口按照本案例添加)

firewall-cmd --zone=public --add-port=9200/tcp --permanent

方式二关闭防火墙

systemctl stop firewalld

JAVA

先安装java
查看java 是否已安装过了

java -version

如果没有那么下载，找最新版本的下载
http://www.oracle.com/technetwork/java/javase/downloads/index.html

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz

解压缩及复制到目录

tar zxvf  jdk-*
#新建目录
mkdir -p /usr/java
#复制解压缩后的文件到该目录
mv jdk1.8.0_151 /usr/java/

注意：jdk解压缩后的目录根据你选择版本显示的，不一定和本案例一样

设置JAVA 环境变量

echo "export JAVA_HOME=/usr/java/jdk1.8.0_151
export JRE_HOME=\$JAVA_HOME/jre                 #tomcat需要
export PATH=\$JAVA_HOME/bin:\$PATH
export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar" > /etc/profile.d/java.sh

应用java 环境变量生效（注意 .后面有一个空格）

source /etc/profile
source /etc/bashrc

注意，这里使用的是source，不是. 因为source 执行后当前进程内就可以使用该环境变量

查看java 版本号

java -version

新建用户及用户组

#新建用户组
groupadd elasticsearch
#建立用户
useradd  -g elasticsearch -m  elasticsearch
#创建密码
passwd elasticsearch

设置管理员或用户组权限
设置用户有 visudo权限,即sudo
执行命令

visudo

在root 那行增加 elasticsearch一行，如下所示

root    ALL=(ALL)       ALL
elasticsearch    ALL=(ALL)       ALL

保存退出

设置内核配置

/etc/security/limits.conf

echo "elasticsearch hard nofile 65536
elasticsearch soft nofile 65536 ">> /etc/security/limits.conf

/etc/sysctl.conf

echo "vm.max_map_count=655360">> /etc/sysctl.conf

应用并生效

sysctl -p

设置 elasticsearch 环境变量

echo "export ES_HOME=/home/elasticsearch/elasticsearch-5.6.1
export PATH=\$ES_HOME/bin:\$PATH" > /etc/profile.d/elasticsearch.sh

设置 elasticsearch 环境变量

echo "export ES_HOME=/home/elasticsearch/elasticsearch-6.0.0
export PATH=\$ES_HOME/bin:\$PATH" > /etc/profile.d/elasticsearch.sh

以下操作都是以 elasticsearch 用户操作

如果使用root用户，那么elasticsearch 是无法启动的

切换用户

在 root 用户下切换,或者你也可以直接用 elasticsearch 用户登录

su elasticsearch
#切换到elasticsearch 用户名目录下
cd ~

elasticsearch 配置安装

下载 https://www.elastic.co/downloads/elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz

解压缩

tar -zxvf elasticsearch-6.0.0.tar.gz

设置局域网或者其他机器可以访问，如果不设置，那么直接装有elasticsearch这台机器才可以访问.
编辑 config/elasticsearch.yml 文件

vim elasticsearch-6.0.0/config/elasticsearch.yml

找到类似#network.host: 192.168.0.1地方，修改为:

network.host: 0.0.0.0

注意： host:与IP地址 0中间有个空格不能删除，否则报错

elasticsearch 启动

cd elasticsearch-6.0.0
./bin/elasticsearch             #前台运行
或者
./bin/elasticsearch -d        #后台运行

elasticsearch 设置后台启动

使用nohup 配合

nohup  bin/elasticsearch -d &

elasticsearch 关闭

ps -ef |grep /elasticsearch|awk '{print $2}'|xargs kill -9

测试

浏览器访问

http://10.1.5.66:9200/

如果出现以下内容表示安装成功

{
"name": "yhwzDyT",
"cluster_name": "elasticsearch",
"cluster_uuid": "rnivNLavQqOrdFdrUrxmlw",
"version": {
"number": "6.0.0",
"build_hash": "8f0685b",
"build_date": "2017-11-10T18:41:22.859Z",
"build_snapshot": false,
"lucene_version": "7.0.1",
"minimum_wire_compatibility_version": "5.6.0",
"minimum_index_compatibility_version": "5.0.0"
},
"tagline": "You Know, for Search"
}

elasticsearch 配置文件详解

http://www.cnblogs.com/xiaochina/p/6855591.html

logstash 配置及安装

下载 https://www.elastic.co/downloads/logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz

解压缩

tar -zxvf logstash-6.0.0.tar.gz

测试

测试是否安装成功

~/logstash-6.0.0/bin/logstash -e 'input { stdin { } } output { stdout {}}'

如果输出类似如下表示安装成功

The stdin plugin is now waiting for input:
[2017-05-16T21:48:15,233][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

插件

中文分词插件analysis-ik

下载地址 https://github.com/medcl/elasticsearch-analysis-ik/releases

#到 elasticsearch-6.0.0/plugins 目录下
cd ~/elasticsearch-6.0.0/plugins
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip

解压缩

unzip elasticsearch-analysis-ik-6.0.0.zip
#解压缩后目录名修改为analysis-ik
mv elasticsearch analysis-ik
删除压缩文件
rm -rf elasticsearch-analysis-ik-6.0.0.zip

按正常启动就可以了，如果要立即生效，那么 elasticsearch 必须要重启
设置词库

cd ~/elasticsearch-6.0.0/
vim plugins/analysis-ik/config/IKAnalyzer.cfg.xml

如果没有词库下面这个不需要设置。
如果你有词库，
那么ext_dict 这一行修改为如下:

<entry key="ext_dict">main.dic;extra_main.dic</entry>

注意 ext_dict中的字库根据你的需要自行添加字库

这个时候需要重启 elasticsearch 插件才能生效

热更新 IK 分词使用方法来自官方

https://github.com/medcl/elasticsearch-analysis-ik

目前该插件支持热更新 IK 分词，通过上文在 IK 配置文件中提到的如下配置

    <!--用户可以在这里配置远程扩展字典 -->
    <entry key="remote_ext_dict">location</entry>
    <!--用户可以在这里配置远程扩展停止词字典-->
    <entry key="remote_ext_stopwords">location</entry>

其中 location 是指一个 url，比如 http://yoursite.com/getCustomDict，该请求只需满足以下两点即可完成分词热更新。

该 http 请求需要返回两个头部(header)，一个是 Last-Modified，一个是 ETag，这两者都是字符串类型，只要有一个发生变化，该插件就会去抓取新的分词进而更新词库。
- 该 http 请求返回的内容格式是一行一个分词，换行符用 \n 即可。
- 满足上面两点要求就可以实现热更新分词了，不需要重启 ES 实例。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里，放在 nginx 或其他简易 http server 下，当 .txt 文件修改时，http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇，并更新这个 .txt 文件。

分词测试

curl -XPUT "http://localhost:9200/index"

创建 mapping

创建测试信息

curl -H "Content-Type: application/json;charset=UTF-8" -XPOST http://localhost:9200/index/fulltext/1 -d' {"content":"美国留给伊拉克的是个烂摊子吗"} '
curl -H "Content-Type: application/json;charset=UTF-8" -XPOST http://localhost:9200/index/fulltext/2 -d' {"content":"公安部：各地校车将享最高路权"} '
curl -H "Content-Type: application/json;charset=UTF-8" -XPOST http://localhost:9200/index/fulltext/3 -d' {"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"} '
curl -H "Content-Type: application/json;charset=UTF-8" -XPOST 'http://localhost:9200/index/fulltext/4' -d' {"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}'

查询

curl -XPOST http://localhost:9200/index/fulltext/_search  -d'
{
    "query" : { "match" : { "content" : "中国" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}
'

结果如下

{
  "took": 418,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 0.2876821,
    "hits": [
      {
        "_index": "index",
        "_type": "fulltext",
        "_id": "5",
        "_score": 0.2876821,
        "_source": {
          "content": "中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
        },
        "highlight": {
          "content": [
            "<tag1>中国</tag1>驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
          ]
        }
      },
      {
        "_index": "index",
        "_type": "fulltext",
        "_id": "4",
        "_score": 0.2876821,
        "_source": {
          "content": "中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
        },
        "highlight": {
          "content": [
            "<tag1>中国</tag1>驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
          ]
        }
      }
    ]
  }
}

elasticsearch head 根据你的需要是否要安装，我的没有安装

安装 notejs npm 需要使用 root用户安装,安装完成后切换回 elasticsearch用户

先要安装 npm 也就是notejs
http://blog.csdn.net/fenglailea/article/details/56484144
https://github.com/nodesource/distributions#debinstall 推荐此文章
先安装支持

sudo yum install -y gcc-c++ make

Centos

sudo curl -sL https://rpm.nodesource.com/setup_8.x | bash -
sudo yum install -y nodejs

UBUNTU

sudo curl -sL https://deb.nodesource.com/setup_8.x | bash -
sudo apt-get install -y nodejs

安装 elasticsearch head

来自：http://blog.csdn.net/fenglailea/article/details/52934263
此插件已独立运行。新的安装方式

cd ~/
#方式一
#以下用git 拉取，如果没有请换方式二
git clone git://github.com/mobz/elasticsearch-head.git
#方式二
wget https://github.com/mobz/elasticsearch-head/archive/master.zip -O elasticsearch-head.zip
unzip elasticsearch-head.zip
mv elasticsearch-head-master elasticsearch-head

配置 elasticsearch.yml 和Gruntfile.js

修改elasticsearch.yml

vim ~/elasticsearch-6.0.0/config/elasticsearch.yml

加入以下内容：

http.cors.enabled: true
http.cors.allow-origin: "*"

修改Gruntfile.js

vim ~/elasticsearch-head/Gruntfile.js

找到下面配置修改为：

connect: {
        server: {
            options: {
                hostname: '0.0.0.0',
                port: 9100,
                base: '.',
                keepalive: true
            }
        }
    }

注意：设置 hostname: 主要为了其他IP可以访问，否则只有本机可以访问

启动 elasticsearch head

如果 npm 没有安装安装 http://blog.csdn.net/fenglailea/article/details/52934263 教程安装

cd ~/elasticsearch-head
#使用国内镜像
sudo npm install -g cnpm --registry=https://registry.npm.taobao.org
sudo npm install
grunt server

如果使用sudo npm install命令安装时报错请看后面的 FAQ
访问地址

http://localhost:9100/

kibana 配置及安装

下载

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz

解压缩

tar -zxvf kibana*.tar.gz
mv kibana-6.0.0-linux-x86_64 kibana-6.0.0

设置局域网或者其他机器可以访问，如果不设置，那么直接装有elasticsearch这台机器才可以访问.
编辑 config/elasticsearch.yml 文件

vim kibana-6.0.0/config/kibana.yml

找到类似#server.host: "localhost"地方，修改为:

server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"

注意： host:与IP地址 0中间有个空格不能删除，否则报错

kibana 启动

cd kibana-6.0.0
bin/kibana

kibana 设置后台启动

使用nohup 配合

nohup  bin/kibana -d &

kibana 关闭

ps -ef |grep /kibana |awk '{print $2}'|xargs kill -9

x-pack 插件

elasticsearch 安装 x-pack 插件

cd elasticsearch-6.0.0
bin/elasticsearch-plugin install x-pack

如果提示Continue with installation? [y/N]输入y回车

设置登陆用户及密码

cd elasticsearch-6.0.0
bin/x-pack/setup-passwords auto

Please confirm that you would like to continue [y/N] 输入y回车
系统会自动创建3个用户及其密码,密码是系统随机创建的，每个人的都不一样
例如:

Changed password for user kibana
PASSWORD kibana = g2MAq_KTK!t~qmkX0-Ke

Changed password for user logstash_system
PASSWORD logstash_system = ssDX7*y6tt8Od^tw0#wg

Changed password for user elastic
PASSWORD elastic = fGw6z_xn%%xp_-jp3bd?

kibana 安装 x-pack 插件

cd kibana-6.0.0
bin/kibana-plugin install x-pack

在 kibana 配置文件中加入

elasticsearch.username: "kibana"
elasticsearch.password:  "你上面得到的密码"

最后重启kibana

x-pack访问

http://localhost:5601/
或
http://10.1.5.66:5601/

登陆时就用 elastic用户及密码登陆

x-pack 插件登陆不验证

不需要登陆验证，则在es和kibana的配置里分别加入

xpack.security.enabled: false

FAQ

Failed at the phantomjs-prebuilt@2.1.15 install script ‘node install.js’.

npm ERR! phantomjs-prebuilt@2.1.15 install: `node install.js`
npm ERR! Exit status 1
npm ERR!
npm ERR! Failed at the phantomjs-prebuilt@2.1.15 install script 'node install.js'.
npm ERR! Make sure you have the latest version of node.js and npm installed.
npm ERR! If you do, this is most likely a problem with the phantomjs-prebuilt package,

解决方法

sudo npm install phantomjs-prebuilt@2.1.15 --ignore-scripts

参考：https://stackoverflow.com/questions/40992231/failed-at-the-phantomjs-prebuilt2-1-13-install-script-node-install-js

grunt-cli: The grunt command line interface (v1.2.0)

grunt-cli: The grunt command line interface (v1.2.0)

Fatal error: Unable to find local grunt.

If you're seeing this message, grunt hasn't been installed locally to
your project. For more information about installing and configuring grunt,
please see the Getting Started guide:

http://gruntjs.com/getting-started

安装 grunt

npm install -g grunt

npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression

一个开源软件声明, 将 elasticsearch-head/package.json 中的 license后面Apache2修改为Apache-2.0

curl -XPOST “type” : “security_exception”,”reason” : “missing authentication token for REST request [/

报类似这样错误时，只要在curl 后面加入-u elastic:密码 即可解决

curl -u elastic:fGw6z_xn%%xp_-jp3bd? -H "Content-Type: application/json;charset=UTF-8" -XPOST 'http://localhost:9200/index/fulltext/5' -d' {"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}'

配置案例 ELK方式

测试案例之前先要启动 elasticsearch
以 www.lanmps.com 站点日志为案例

创建配置

cd ~/logstash-6.0.0
mkdir -p etc
vim etc/nginx-lanmps.conf

nginx-lanmps.conf 文件内容如下

input {
        file {
                type => "nginx_lanmps"
                #监听的文件
                path => [
                    "/www/wwwLogs/www.lanmps.com.*.log"
                ]
                #排除不想监听的文件
                exclude => ["*.gz", "access.log"]
                #设置新事件的标志
                #delimiter => "\n"
                #添加自定义的字段
                #add_field => {"test"=>"test"}
                #增加标签
                #tags => "tag1"
                #设置多长时间扫描目录，发现新文件
                discover_interval => 15
                #设置多长时间检测文件是否修改
                stat_interval => 1
                #监听文件的起始位置，默认是end
                start_position => "beginning"

                #监听文件读取信息记录的位置
                #sincedb_path => "/home/elasticsearch/elk/sincedb_trade.txt"
                #设置多长时间会写入读取的位置信息
                #sincedb_write_interval => 15
        }
}
filter {
  grok {
           match=>[
                    "message",
                    "%{IPORHOST:client_ip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) (%{QS:referrer}|-) (%{QS:agent}|-) \"(%{WORD:x_forword}|-)\" (%{HOSTNAME:domain}|-) (%{WORD:request_method}|-) (%{QS:uri}|-) (%{QS:query_string}) (%{NUMBER:upstream_response}|-) (%{WORD:upstream_cache_status}|-) (%{URIHOST:upstream_host}|-) (%{USERNAME:upstream_response_time}) > (%{USERNAME:response_time}) %{QS:upstream_content_type} (?:%{QS:request_body}|-)"
                    ]
      }
       mutate {
              gsub => [
                  # 将filed_name_2字段中所有"\","?","#","-"转换为"."
                  "agent", "\"", "",
                  "upstream_content_type", "\"", "",
                  "query_string", "\"", "",
                  "uri", "\"", "",
                  "request_body", "\"", "",
                  "referrer", "\"", ""
              ]
          }
     #匹配模式 message是每段读进来的日志，IP、HTTPDATE、WORD、NOTSPACE、NUMBER都是patterns/grok-patterns中定义好的正则格式名称，对照上面的日志进行编写,冒号，(?:%{USER:ident}|-)这种形式是条件判断，相当于程序里面的二目运算。如果有双引号""或者[]号，需要在前面加\进行转义。
    #kv {
    #      source => "request"
    #      field_split => "&?"
    #      value_split => "="
    #}
    #再单独将取得的URL、request字段取出来进行key-value值匹配，需要kv插件。提供字段分隔符"&?"，值键分隔符"="，则会自动将字段和值采集出来。
    #urldecode {
    #  all_fields => true
    #}
    #把所有字段进行urldecode（显示中文）
    #定义时间戳的格式
  date {
    match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
    locale => "cn"
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "logstash-%{type}-%{+YYYY.MM.dd}"
    template => "/home/elasticsearch/logstash-6.0.0/template/nginx_log.json"
    template_name => "nginx_log-%{type}"
    template_overwrite => true
    #安装了 x-pack后会用到 用户名及密码
    #user => elastic
    #password => changeme
  }
  stdout { codec => rubydebug }
}

建立模版文件

cd ~/logstash-6.0.0/
#目录
mkdir -p template
vim template/nginx_log.json

nginx_log.json 内容如下

{
  "template": "nginx_log-*",
  "settings": {
    "index.number_of_shards": 5,
    "number_of_replicas": 1,
    "index.refresh_interval": "60s"
  },
  "mappings": {
    "_default_": {
      "_all": {
        "enabled": true
      },
      "dynamic_templates": [
        {
          "string_fields": {
            "match": "*",
            "match_mapping_type": "string",
            "mapping": { "type": "string", "index": "not_analyzed", "omit_norms": true, "doc_values": true, "fields": { "raw": { "type": "string", "index": "not_analyzed", "ignore_above": 256, "doc_values": true } } } }
        }
      ],
      "properties": {
        "@version": {
          "type": "string",
          "index": "not_analyzed" },
        "@timestamp": {
          "type": "date",
          "format": "strict_date_optional_time||epoch_millis",
          "doc_values": true },
        "client_ip": {
          "type": "string",
          "index": "not_analyzed" },
        "ident": {
          "type": "string",
          "index": "not_analyzed" },
        "auth": {
          "type": "string",
          "index": "not_analyzed" },
        "verb": {
          "type": "string",
          "index": "not_analyzed" },
        "request": {
          "type": "string",
          "index": "not_analyzed" },
        "http_version": {
          "type": "string",
          "index": "not_analyzed" },
        "response": {
          "type": "string",
          "index": "not_analyzed" },
        "bytes": {
          "type": "string",
          "index": "not_analyzed" },
        "referrer": {
          "type": "string",
          "index": "not_analyzed" },
        "agent": {
          "type": "string",
          "index": "not_analyzed" },
        "x_forword": {
          "type": "string",
          "index": "not_analyzed" },
        "domain": {
          "type": "string",
          "index": "not_analyzed" },
        "request_method": {
          "type": "string",
          "index": "not_analyzed" },
        "uri": {
          "type": "string",
          "index": "not_analyzed" },
        "query_string": {
          "type": "string",
          "index": "not_analyzed" },
        "request_body": {
          "type": "string",
          "index": "not_analyzed" },
        "upstream_response": {
          "type": "string",
          "index": "not_analyzed" },
        "upstream_cache_status": {
          "type": "string",
          "index": "not_analyzed" },
        "upstream_host": {
          "type": "string",
          "index": "not_analyzed" },
        "upstream_response_time": {
          "type": "string",
          "index": "not_analyzed" },
        "response_time": {
          "type": "string",
          "index": "not_analyzed" },
        "upstream_content_type": {
          "type": "string",
          "index": "not_analyzed" }
      }
    }
  }
}

建立启动项文件(未实际验证)

cd ~/logstash-6.0.0/
#目录
mkdir -p sbin
vim sbin/nginx_lanmps.sh

nginx_lanmps.sh 内容如下

#! /bin/sh
# Startup script for the logstash
# chkconfig: - 85 15
# description: logstash
# processname: logstash
#PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
NAME=logstash
NAME_CONF=nginx-lanmps
DESC="logstash-$NAME_CONF daemon"
IN_DIR="/home/elasticsearch"
DAEMON_PATH=$IN_DIR/logstash-5.6.1
DAEMON=$DAEMON_PATH/bin/$NAME
CONF=$DAEMON_PATH/etc/$NAME_CONF.conf
CONF_DATA=$DAEMON_PATH/data/$NAME_CONF
PID_FILE=$DAEMON_PATH/data/$NAME_CONF.pid
SCRIPT_NAME=$DAEMON_PATH/sbin/$NAME_CONF
CONF_LOG=$DAEMON_PATH/logs/$NAME_CONF.log
//
INDEX_NAME=$NAME_CONF
HOST_URL=localhost:9200/$INDEX_NAME

set -e
[ -x "$DAEMON" ] || exit 0

do_start() {
 cd $DAEMON_PATH
 mkdir -p $CONF_DATA
 nohup $DAEMON -f $CONF --path.data=$CONF_DATA > $CONF_LOG 2>&1 &
}

do_stop() {
    ps -ef |grep /$NAME_CONF|awk '{print $2}'|xargs kill -9
}

do_reload() {
    ps -ef |grep /$NAME_CONF|awk '{print $2}'|xargs kill -HUP
}

do_delete(){
    echo "DELETE "$NAME_CONF
    #curl -XDELETE 'http://'$HOST_URL
    echo "\n"
}

do_create(){
    echo "Auto Create "$NAME_CONF
   echo "\n"
}

case "$1" in
 start)
 echo -n "Starting $DESC: $NAME"
 do_start
 echo "."
 ;;
 stop)
 echo -n "Stopping $DESC: $NAME"
 do_stop
 echo "."
 ;;
 reload|graceful)
 echo -n "Reloading $DESC configuration..."
 do_reload
 echo "."
 ;;
 restart)
 echo -n "Restarting $DESC: $NAME"
 do_stop
 do_start
 echo "."
 ;;
 status)
    if [ -f $PID_FILE ]; then
        echo "$NAME is runing!"
    else
        echo "$NAME is stop!"
    fi
 ;;
  create)
    do_delete
    do_create
  ;;
 test)
    $DAEMON -f $CONF -t
  ;;
 *)
 echo "Usage: $SCRIPT_NAME {start|stop|reload|restart|status|test|create} " >&2
 exit 3
 ;;
esac

exit 0

启动方式

~/logstash-5.6.1/sbin/nginx_lanmps.sh start        启动
~/logstash-5.6.1/sbin/nginx_lanmps.sh stop        关闭
其他请自行摸索

配置案例 ELKF （F是Filebeat）方式推荐

如果直接用Logstash 去读取站点日志，Logstash太占用CPU了。

Filebeat安装

下载
https://www.elastic.co/downloads/beats/filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.0-linux-x86_64.tar.gz

解压缩

tar -zxvf filebeat-6.0.0-linux-x86_64.tar.gz
mv filebeat-6.0.0-linux-x86_64 /www/filebeat/

配置Filebeat

环境说明：
1）elasticsearch和logstash 在不同/相同的服务器上,只发送数据给logstash/elasticsearch
2）监控nginx日志
3）监控站点日志

配置

编辑filebeat.yml

cd /www/filebeat/filebeat-6.0.0-linux-x86_64
vim filebeat.yml

修改为

filebeat.prospectors:
    - input_type: log
      paths:
        - /www/wwwLog/www.foxwho.com/*.log
      input_type: log 
      document_type: nginx-www.foxwho.com
      multiline.pattern: '^\['
      multiline.negate: true
      multiline.match: after

    - input_type: log
      paths:
        - /www/wwwroot/www.foxwho.com/runtime/log/*/[0-9]*[_\w]?*.log
      input_type: log 
      document_type: web-www.foxwho.com
      multiline.pattern: '^\['
      multiline.negate: true
      multiline.match: after
#以下输出给elasticsearch
#output.elasticsearch:
  #   hosts: ["localhost:9200"]
  #   index: "filebeat-www.babymarkt.cn"
  #   template.name: "filebeat"
  #   template.path: "filebeat.template.json"
  #   template.overwrite: false
#以下输出给logstash 进行处理
output.logstash:
    hosts: ["10.1.5.65:5044"]

...其他部分没有改动，不需要修改

filebeat配置说明

paths：指定要监控的日志，目前按照Go语言的glob函数处理。没有对配置目录做递归处理，比如配置的如果是：

/var/log/* /*.log

则只会去/var/log目录的所有子目录中寻找以”.log”结尾的文件，而不会寻找/var/log目录下以”.log”结尾的文件。
2. input_type：指定文件的输入类型log(默认)或者stdin。
3. document_type：设定Elasticsearch输出时的document的type字段，也可以用来给日志进行分类。

把 elasticsearch和其下的所有都注释掉（这里Filebeat是新安装的，只注释这2处即可）

#output.elasticsearch:
  #   hosts: ["localhost:9200"]

开启 logstash(删除这两行前的#号)，并把localhost改为logstash服务器地址

output.logstash:
    hosts: ["10.1.5.65:5044"]

logstash 配置

如果开启logstash了，那么Logstash配置中要设置监听端口 5044：
这个是默认文件位置，如果不存在请自行查找
建立beats-input.conf配置文件

vim ~/logstash-6.0.0/etc/beats-input-foxwho.com.conf

增加端口

input {
  beats {
    port => 5044
  }
}
filter {
  grok {
           match=>[
                    "message",
                    "%{IPORHOST:client_ip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) (%{QS:referrer}|-) (%{QS:agent}|-) \"(%{WORD:x_forword}|-)\" (%{HOSTNAME:domain}|-) (%{WORD:request_method}|-) (%{QS:uri}|-) (%{QS:query_string}) (%{NUMBER:upstream_response}|-) (%{WORD:upstream_cache_status}|-) (%{URIHOST:upstream_host}|-) (%{USERNAME:upstream_response_time}) > (%{USERNAME:response_time}) %{QS:upstream_content_type} (?:%{QS:request_body}|-)"
                    ]
      }
       mutate {
              gsub => [
                  # 将filed_name_2字段中所有"\","?","#","-"转换为"."
                  "agent", "\"", "",
                  "upstream_content_type", "\"", "",
                  "query_string", "\"", "",
                  "uri", "\"", "",
                  "request_body", "\"", "",
                  "referrer", "\"", ""
              ]
          }
     #匹配模式 message是每段读进来的日志，IP、HTTPDATE、WORD、NOTSPACE、NUMBER都是patterns/grok-patterns中定义好的正则格式名称，对照上面的日志进行编写,冒号，(?:%{USER:ident}|-)这种形式是条件判断，相当于程序里面的二目运算。如果有双引号""或者[]号，需要在前面加\进行转义。
    #kv {
    #      source => "request"
    #      field_split => "&?"
    #      value_split => "="
    #}
    #再单独将取得的URL、request字段取出来进行key-value值匹配，需要kv插件。提供字段分隔符"&?"，值键分隔符"="，则会自动将字段和值采集出来。
    #urldecode {
    #  all_fields => true
    #}
    #把所有字段进行urldecode（显示中文）
    #定义时间戳的格式
  date {
    match => [ "timestamp", "yyyy-MM-dd-HH:mm:ss" ]
    locale => "cn"
  }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "logstash-%{type}-%{+YYYY.MM.dd}"
    template => "/home/elasticsearch/logstash-6.0.0/template/nginx_log.json"
    template_name => "nginx_log-%{type}"
    template_overwrite => true
    #安装了 x-pack后会用到 用户名及密码
    #user => elastic
    #password => changeme
  }
  stdout { codec => rubydebug }
}

启动logstash 该配置

/home/elasticsearch/logstash-6.0.0/bin/logstash -f /home/elasticsearch/logstash-6.0.0/etc/beats-input-foxwho.com.conf

启动成功后，那么就可以进行filebeat启动了

filebeat启动

filebeat测试

cd /www/filebeat/filebeat-6.0.0-linux-x86_64
./filebeat -e -c filebeat.yml -d "Publish"

如果能看到一堆东西输出，表示正在向elasticsearch或logstash发送日志。
如果是elasticsearch可以浏览：http://localhost:9200/_search?pretty 如果有新内容返回，表示ok
测试正常后，Ctrl+C结束

logstash 控制台中看看是否有接收到日志

filebeat启动

nohup ./filebeat -e -c filebeat.yml &

上面会转入后台运行

filebeat停止

查找进程 ID

ps -ef |grep filebeat

KILL他

kill -9  id

至此全部完成

首发 http://www.foxwho.com/article/156
同步 foxwho(神秘狐)的领地 http://www.foxwho.com

风.foxwho

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

elasticsearch6.x.x logstash6.x.x kibana6.x.x Filebeat6.x 配置及安装 CentOS7.3或更高

centos 防火墙设置

方式一 开放9200 端口(其他端口按照本案例添加)

方式二 关闭防火墙

JAVA

设置JAVA 环境变量

新建用户及用户组

设置内核配置

设置 elasticsearch 环境变量

设置 elasticsearch 环境变量

以下操作都是以 elasticsearch 用户操作

以下操作都是以 elasticsearch 用户操作

以下操作都是以 elasticsearch 用户操作

切换用户

elasticsearch 配置安装

elasticsearch 启动

elasticsearch 设置后台启动

elasticsearch 关闭

测试

elasticsearch 配置文件详解

logstash 配置及安装

测试

插件

中文分词插件analysis-ik

热更新 IK 分词使用方法 来自官方

分词测试

创建 mapping

创建测试信息

查询

elasticsearch head 根据你的需要是否要安装，我的没有安装

安装 notejs npm 需要使用 root用户安装,安装完成后 切换回 elasticsearch用户

安装 elasticsearch head

配置 elasticsearch.yml 和Gruntfile.js

启动 elasticsearch head

kibana 配置及安装

kibana 启动

kibana 设置后台启动

kibana 关闭

x-pack 插件

elasticsearch 安装 x-pack 插件

设置登陆用户及密码

kibana 安装 x-pack 插件

x-pack访问

x-pack 插件 登陆不验证

FAQ

Failed at the phantomjs-prebuilt@2.1.15 install script ‘node install.js’.

grunt-cli: The grunt command line interface (v1.2.0)

npm WARN elasticsearch-head@0.0.0 license should be a valid SPDX license expression

curl -XPOST “type” : “security_exception”,”reason” : “missing authentication token for REST request [/

配置案例 ELK方式

创建配置

配置案例 ELKF （F是Filebeat） 方式 推荐

Filebeat安装

配置Filebeat

配置

filebeat配置说明

logstash 配置

启动logstash 该配置

filebeat启动

filebeat测试

filebeat启动

filebeat停止

方式一开放9200 端口(其他端口按照本案例添加)

方式二关闭防火墙

热更新 IK 分词使用方法来自官方

安装 notejs npm 需要使用 root用户安装,安装完成后切换回 elasticsearch用户

x-pack 插件登陆不验证

配置案例 ELKF （F是Filebeat）方式推荐