kafka直接对接nginx

很多时候我们要对nginx产生的日志进行分析都是通过flume监控nginx产生的日志，通过flume把日志文件发送该kafka，flume作为生产者，但是这种方式的缺点就是可能效率会比较慢，除此之外还可以使用kafka直接对接nginx，nginx作为生产者，把log日志直接对接到kafka的某些分区中，这种方法的效率比较高，但是缺点就是可能会出现数据丢失，可以通过把nginx的日志进行一份给kafka，再把一份进行保存
下面就是对这种方式的进行配置

一、安装nginx-kafka插件 第一种方式 是通过git进行安装（https://github.com/brg-liuwei/ngx_kafka_module）

1、安装
gityum install -y git
2、找一个目录，将kafka的源码目录克隆下来
这里我使用的目录是 /usr/local/src
在这个目录下执行
git clone https://github.com/edenhill/librdkafka
3、进入librdkafka进行编译
cd librdkafka
安装依赖
yum install -y gcc gcc-c++ pcre-devel zlib-devel
.进行预编译
/configure
进行编译
先执行 make， 在执行 make install

4、安装nginx整合kafka的插件，克隆nginx整合kafka的源码
cd /usr/local/src
执行
git clone https://github.com/brg-liuwei/ngx_kafka_module

(如果使用git下载失败了，可以直接点进去上面的两个链接，然后下载到本地，在上传到linux上，进行解压，其他的都和上面的操作一样)

5、安装nginx
解压nginx安装包
进入到nginx源码包中
安装依赖
yum -y install gcc pcre-devel openssl openssl-devel
预编译 时将插件同时编译
后面跟的目录是 克隆的nginx整合kafka的插件的目录
./configure --add-mod