微服务下，使用ELK进行日志采集以及统一处理

Details: https://github.com/elastic/elasticsearch/pull/17288

discovery.zen.minimum_master_nodes: 1

修改好配置文件之后，退出容器，重启容器即可。我们为了后面使用时能够保留配置，需要从该容器创建一个新的镜像。首先获取到该容器对应的 ContainerId。然后基于该容器提交成一个新的镜像。

$ docker commit -a “add config” -m “dev” a404c6c174a2 es:latest

sha256:5cb8c995ca819765323e76cccea8f55b423a6fa2eecd9c1048b2787818c1a994

这样我们得到了一个新的镜像 es:latest。我们运行新的镜像：

docker run -d --name es -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” es:latest

通过访问 Elasticsearch 提供的内置端点，我们检查是否安装成功。

[root@VM_1_14_centos ~]# curl ‘http://localhost:9200/_nodes/http?pretty’

{

“_nodes” : {

“total” : 1,

“successful” : 1,

“failed” : 0

},

“cluster_name” : “docker-cluster”,

“nodes” : {

“8iH5v9C-Q9GA3aSupm4caw” : {

“name” : “8iH5v9C”,

“transport_address” : “10.0.1.14:9300”,

“host” : “10.0.1.14”,

“ip” : “10.0.1.14”,

“version” : “5.4.0”,

“build_hash” : “780f8c4”,

“roles” : [

“master”,

“data”,

“ingest”

],

“attributes” : {

“ml.enabled” : “true”

},

“http” : {

“bound_address” : [

“[::]:9200”

],

“publish_address” : “10.0.1.14:9200”,

“max_content_length_in_bytes” : 104857600

}

}

}

}

可以看到，我们成功安装了 Elasticsearch，Elasticsearch 作为日志数据信息的存储源，为我们提供了高效的搜索性能。

我们另外还安装了 Elasticsearch 的可视化工具：elasticsearch-head。安装方法很简答：

$ docker run -p 9100:9100 mobz/elasticsearch-head:5

elasticsearch-head 用于监控 Elasticsearch 状态的客户端插件，包括数据可视化、执行增删改查操作等。

安装之后的界面如下所示：

logstash 的安装与使用

===============

logstash 是一个数据分析软件，主要目的是分析 log 日志。其使用的原理如下所示：

数据源首先将数据传给 logstash，我们这里使用的是 Filebeat 传输日志数据。它主要的组成部分有 Input 数据输入、Filter 数据源过滤和 Output 数据输出三部分。

logstash 将数据进行过滤和格式化（转成 JSON 格式），然后发送到 Elasticsearch 进行存储，并建搜索的索引，Kibana 提供前端的页面视图，可以在页面进行搜索，使得结果变成图表可视化。

下面我们开始安装使用 logstash。首先下载解压 logstash：