数据存储和可视化（Filebeat+Logstash+Elasticsearch+Kibana）

 

Filebeat+Logstash+Elasticsearch+Kibana

最近有一批数据需要存储，并提供可视化展示，包括基本的检索，下面是学习使用Filebeat+Logstash+Elasticsearch+Kibana的过程：

1：概念解释

Elasticsearch: 一个分布式的 RESTful 风格的搜索和数据分析引擎。（可以理解为“数据仓库”）

Logstash: 一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。（可以理解为“数据收集处理机”）

Filebeat: Elastic提供了各种Beats，用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。（可以理解为“数据传输机”）

Kibana: 一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。可以用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。（可以理解为“数据可视化机”）

具体详细概念与下载：Elastic；介绍文档

 

2：处理流程

数据经由Beats，可以直接传输到elasticsearch库中；也可先传输到logstash进行增强处理之后再传输到elasticsearch库中；最后通过kibana进行可视化展示。不同Beat针对不同的数据源，下面以filebeat为例进行介绍，以文件为数据源。

下载所需安装包：（依赖Java环境）

Elastic（elasticsearch+logstash+filebeat+kibana）下载地址

JDK JDK下载地址（JDK安装教程）

1：elasticsearch 安装启动

解压 tar -zxvf elasticsearch-6.6.2; cd bin; ./elasticsearch

2: logstash 安装配置启动

解压 tar -zxvf logstash-6.6.2; logstash目录下新建配置文件pipeline.conf, 内容如下, 输入源为beat, 格式为json； 输出为es库 

input{
    beats{
        port => "5044"
        codec => json
    }
}

output{
    elasticsearch{
        hosts => ["localhost:9200"]
    }
}

bin/logstash -f pipeline.conf

3: filebeat 安装配置与启动

解压 tar -zxvf filebeat-6.6.2 ; 修改配置文件filebeat.yml, 内容如下：

#==========filebeat inputs========

- type: log
path:
    - /home/sean/Desktop/log.json(替换成自己的文件目录)

#==========Dashboards==============

setup.dashboard.enabled: ture

#=============Kibana===============

set.kibana:
host: "localhost:5601"

#============logstash output======

output.logstash:
host: ["localhost:5044"]

启动：./filebeat -e -c filebeat.yml -d "publish"

4: kibana 安装配置启动

解压 tar -zxvf kibana-6.6.2 ; 配置/config/kibana.yml; 内容如下：

elasticsearch.hosts: ["http://localhost:9200"]

启动：bin/kibana

 

3： 启动顺序与结果

启动elasticsearch

启动logstash

启动kibana

启动filebeat

浏览器访问：http://localhost:5601

 

可能的错误：

如果logstash报json解析错误，json格式必须是串行的，中间不能有换行

❎
{
    name: "zhangsan",
    age: "18"
}

✅
{name:"zhangsan",age:"18"}

参考资料：

Elasticsearch快速开始

Logstash介绍

开始使用Filebeat