使用kuernetes提供高可用的logstash服务

在kubernetes集群中部署logstash步骤如下:

1:logstash安装文件(目前最新版本2.3.4);

2:编写Dockerfile及执行点脚本文件run.sh,并且修改logstash conf文件,配置为消费指定rabbitmq queue,并持久化消息至目标elasticsearch集群,制作logstash镜像;

3:推送镜像至某个Docker源,可以是公网的源,也可以是公司内部源;

4:在kubernetes主节点编写logstash镜像对应的RC文件;

5:在kubernetes集群中创建logstash pods;

6:测试验证

 

================================================================================================

1:logstash安装文件(目前最新版本2.3.4)

logstash目前最新版本安装包:logstash-2.3.4.tar.gz,可事先下载COPY进Docker镜像,也可以通过wget的方式在Dockerfile中配置下载;

 

================================================================================================

2:编写Dockerfile及执行点脚本文件run.sh,并且修改logstash conf文件,配置为消费指定rabbitmq queue,并持久化消息至目标elasticsearch集群,制作logstash镜像

由于logstash运行依赖于其配置文件,需要根据实际使用场景对配置文件的in,filter,out三个模块进行配置,因此需要先建立好conf文件;

我的使用场景是logstash作为rabbitmq中日志信息队列的消费者,获得rabbitmq推送的消息后,推送至out模块配置的elasticsearch集群,以供kibana使用(ELK框架)。

这是一个比较典型的应用场景,也可以根据实际需求配置logstash为redis或其它数据源的消费者;

如下是我的场景中的logstash配置文件(log-pipeline.conf):

 1 input {
 2   http {
 3   }
 4   rabbitmq {
 5         host => "localhost"
 6         port => 5672
 7         queue => "example.queue"
 8         key => ""
 9         user => "guest"
10         password => "guest"
11         durable => true
12   }
13 }
14 filter {
15   date {
16         match => [ "timestamp","yyyy-MM-dd HH:mm:ss" ]
17   }
18 }
19 output {
20    elasticsearch {
21         hosts => ["localhost:9200"]
22         index => "logstash-*"
23    }
24 }
View Code

配置文件中的所有配置项都是默认值,实际参数是配置在kubernetes集群的RC文件中的;

同时,我们这里打开了http这个in模块,接受http直接推送消息,默认端口是8080;

现在我们可以建立Dockerfile:

 1 FROM centos:7.2.1511
 2 MAINTAINER JiaKai "jiakai@gridsum.com"
 3 COPY CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo
 4 RUN yum update -y -q && yum install -y -q java-headless which && rm -rf /var/cache/yum
 5 ENV LOGSTASH_VERSION 2.3.4
 6 COPY ./logstash-${LOGSTASH_VERSION}.tar.gz /opt/logstash-${LOGSTASH_VERSION}.tar.gz
 7 RUN tar -xzf /opt/logstash-${LOGSTASH_VERSION}.tar.gz && \
 8     mv -f /logstash-${LOGSTASH_VERSION} /opt/logstash && \
 9     rm -f /opt/logstash-${LOGSTASH_VERSION}.tar.gz
10 ENV CONF_FILE /log-pipeline.conf
11 COPY ./log-pipeline.conf ${CONF_FILE}
12 COPY ./run.sh /run.sh
13 RUN chmod a+wx ${CONF_FILE} && chmod a+x /run.sh
14 # logstash-input-http plugin default port 8080
15 EXPOSE 8080
16 CMD ["/run.sh"]
View Code

Dockerfile中需要注意的是,logstash的运行依赖于java环境及which组件,需要在基础镜像的基础上安装,同时要注意清除yum缓存,打开8080端口为为了支持logstash的http模块(在我的应用场景中也可以不打开);

Dockerfile的入口点run.sh文件如下:

 1 #!/bin/sh
 2 set -e
 3 RABBIT_HOST=${RABBIT_HOST:-localhost}
 4 RABBIT_PORT=${RABBIT_PORT:-5672}
 5 RABBIT_QUEUE=${RABBIT_QUEUE:-example.queue}
 6 RABBIT_USER=${RABBIT_USER:-guest}
 7 RABBIT_PWD=${RABBIT_PWD:-guest}
 8 ES_URLS=${ES_URLS:-localhost:9200}
 9 ES_INDEX=${ES_INDEX:-logstash-*}
10 
11 sed -i "s;^.*host => .*;        host => \"${RABBIT_HOST}\";" ${CONF_FILE}
12 sed -i "s;^.*port => .*;        port => ${RABBIT_PORT};" ${CONF_FILE}
13 sed -i "s;^.*queue => .*;        queue => \"${RABBIT_QUEUE}\";" ${CONF_FILE}
14 sed -i "s;^.*user => .*;        user => \"${RABBIT_USER}\";" ${CONF_FILE}
15 sed -i "s;^.*password => .*;        password => \"${RABBIT_PWD}\";" ${CONF_FILE}
16 sed -i "s;^.*hosts => .*;        hosts => [\"${ES_URLS}\"];" ${CONF_FILE}
17 sed -i "s;^.*index => .*;        index => \"${ES_INDEX}\";" ${CONF_FILE}
18 
19 exec /opt/logstash/bin/logstash -f ${CONF_FILE}
View Code

需要注意的是在配置文件的修改中,字符串参数需要双引号,因此sh中以\"包含起来;

完成以上3个文件的创建,即可通过

sudo docker build -t="jiakai/logstash:2.3.4" .

来创建logstash的Docker镜像;

无误的话将得到名为jiakai/logstash,Tag为2.3.4的logstash镜像,可以通过

sudo docker run -e RABBIT_HOST=10.XXX.XXX.XXX -e RABBIT_PORT=5672 -e RABBIT_QUEUE=Gridsum.LawDissector.NLog.Targets.LogMessage:Gridsum.LawDissector.NLog.Targets -e RABBIT_USER=XXX -e RABBIT_PWD=XXX -e ES_URLS=10.XXX.XXX.XXX:XXXX -e ES_INDEX=ld.log-%{+YYYY.MM} -i -t 913defa45d4c

来启动该镜像,其中913defa45d4c是我的Docker镜像ID,根据实际更改即可,无误的话,这时候我们查看Rabbitmq中指定的队列的consumer,会多出一个我们执行Docker镜像的宿主机的消费者,且这个IP是docker0的IP;

 

===============================================================================================

3:推送镜像至某个Docker源,可以是公网的源,也可以是公司内部源

推送镜像之前需要为镜像重新标记(TAG),这里以公司的内部源为例,将制作好的镜像推送至目标源:

sudo docker Tag jiakai/logstash:2.3.4 10.200.XXX.XXX:5000/gridsum/logstash:2.3.4

 

===============================================================================================

4:在kubernetes主节点编写logstash镜像对应的RC文件

5:在kubernetes集群中创建logstash pods;

6:测试验证。

由于我们场景中的logstash无需对外提供服务,仅仅作为rabbitmq的消费者存在,因此无需在kubernetes中提供logstash service,至需要利用RC保持logstash的高可用服务即可,因此我们建立logstash的RC文件:

 1 apiVersion: v1
 2 kind: ReplicationController
 3 metadata:
 4   name: logstash
 5   namespace: default
 6   labels:
 7     component: elk
 8     name: logstash
 9 spec:
10   replicas: 1
11   selector:
12     component: elk
13     name: logstash
14   template:
15     metadata:
16       labels:
17         component: elk
18         name: logstash
19     spec:
20       containers:
21       - name: logstash
22         image: 10.XXX.XXX.XXX:5000/gridsum/logstash:2.3.4
23         env:
24         - name: RABBIT_HOST
25           value: 10.XXX.XXX.XXX
26         - name: RABBIT_PORT
27           value: "5672"
28         - name: RABBIT_QUEUE
29           value: Gridsum.LawDissector.NLog.Targets.LogMessage:Gridsum.LawDissector.NLog.Targets
30         - name: RABBIT_USER
31           value: XXX
32         - name: RABBIT_PWD
33           value: XXX
34         - name: ES_URLS
35           value: 10.XXX.XXX.XXX:XXXX
36         - name: ES_INDEX
37           value: ld.log-%{+YYYY.MM}
38         ports:
39           - containerPort: 8080
40             name: http
41             protocol: TCP
View Code

文件保存为logstash-controller.yaml,之后在kubernetes集群主节点上执行

kubectl create -f logstash-controller.yaml

启动该RC;通过

kubectl get pods

检查logstash pod是否正常运行(running),同时检查rabbitmq对应的queue是否正确由这个logstash pod消费,再从elasticsearch集群确认消费的日志消息时候已经正确推送ELK。

 

 

经过以上步骤,即可通过kubernetes集群提供高可用的logstash服务,为ELK框架提供支持。

 

转载于:https://www.cnblogs.com/you-you-111/p/5663793.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值