HTML+Nginx+ngx_kafka_module+Kafka

最新推荐文章于 2021-04-04 17:43:04 发布

我要去学习了

最新推荐文章于 2021-04-04 17:43:04 发布

阅读量519

点赞数

分类专栏： kafka 文章标签： kafka nginx big data

本文链接：https://blog.csdn.net/zh17673640696/article/details/112854217

版权

kafka 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

需求：使用Kafka做日志收集。

需要收集的信息：

1、用户ID（user_id）
2、时间（act_time）
3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）
4、对方企业编码（job_code）

说明：

1、HTML可以理解为拉勾的职位浏览页面
2、Nginx用于收集用户的点击数据流，记录日志access.log
3、将Nginx收集的日志数据发送到Kafka主题：tp_individual

架构：

HTML+Nginx+ngx_kafka_module+Kafka
可以参考ngx_kafka_module git地址里面也有详细的步骤

开发：

1.安装依赖

1安装wget和git以及环境
yum install wget git -y
yum install gcc-c++ -y
2.将kafka的c客户端源码clone到本地(我放在/usr/local/src)
cd /usr/local/src
git clone https://github.com/edenhill/librdkafka
cd librdkafka
3.编译
./configure
make && make install

2.下载nginx

也是在/usr/local/src目录下的
wget http://nginx.org/download/nginx-1.17.8.tar.gz
tar -zxf nginx-1.17.8.tar.gz
cd nginx-1.17.8
yum install gcc zlib zlib-devel openssl openssl-devel pcre pcre-devel -y

3.下载ngx_kafka_module

git clone https://github.com/brg-liuwei/ngx_kafka_module.git
cd nginx-1.17.8
./configure --add-module=/usr/local/src/ngx_kafka_module/
make
make install

4.修改nginx的配置文件

##这里修改的不是刚下载的ng源包，而是编译后的ng下面的配置文件，默认地址/usr/local/nginx/conf
http {

    # some other configs

    kafka;
    kafka_broker_list linux121:9092; # host:port ...

    server {
		location = /log {
   		 kafka_topic tp_log_01;
	}
}

5.加载模块

echo "/usr/local/lib" >> /etc/ld.so.conf
ldconfig

6.启动Kafka

zkServer.sh start
kafka-server-start.sh /opt/kafka_2.12-1.0.2/config/server.properties

7.启动nginx：

/usr/local/nginx/sbin/nginx

8.测试

curl localhost/log -d "hello ngx_kafka_module" -v

在这里插入图片描述

9. 编写静态页面

<!doctype html>
<html>
<head>
    <meta charSet="utf-8"/>
    <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=5.0, minimum-scale=1.0"/>
    <title>kafka测试</title>
</head>
<body>
<button onclick="action('click')">点击</button>
<button onclick="action('jobCollect')">收藏</button>
<button onclick="action('cvSend')">投简历</button>
<button onclick="action('cvUpload')">上传简历</button>

<script type="text/javascript" src='https://cdn.bootcss.com/jquery/3.3.1/jquery.min.js'></script>
<script>
    function action(_action){
        var info = {};
        info.userId = '123456';
        info.actTime = new Date();
        info.action = _action;
        info.jobCode = "lagou";
        $.ajax({
            type: "post",
            url: "http://linux123:80/log",
            data: JSON.stringify(info),
            success: function(res){

            }
        });
    }
</script>
</body>
</html>

10.验收

当分别点击四个按钮时，收集的是对应的日志

在这里插入图片描述

注意:

1.出现 nginx: [emerg] unknown directive "kafka"   
是因为你的ng没有添加kafka模块  也就是./configure --add-module=/usr/local/src/ngx_kafka_module/  
在这部时候后面地址没对 或者没有加后面的模块，就已经初始化ng了.需要删除ng重写编译，后面填写正确的ngx_kafka_module地址

2.出现nginx: error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
是因为没有添加so库 也就是前面的第5步

我要去学习了

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
HTML+Nginx+ngx_kafka_module+Kafka

需求：使用Kafka做日志收集。需要收集的信息：1、用户ID（user_id）2、时间（act_time）3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）4、对方企业编码（job_code）说明：1、HTML可以理解为拉勾的职位浏览页面2、Nginx用于收集用户的点击数据流，记录日志access.log3、将Nginx收集的日志数据发送到Kafka主题：tp_individual架构：HTML+Ngi
复制链接

扫一扫