【Kafka】之 nginx_kafka_module（20.1）

最新推荐文章于 2024-08-12 14:30:00 发布

fanfan4569

最新推荐文章于 2024-08-12 14:30:00 发布

阅读量812

点赞数

本文链接：https://blog.csdn.net/fanfan4569/article/details/108717809

版权

本文介绍了如何使用Nginx_kafka_module作为日志收集工具，记录用户的点击、收藏、投递等操作，并将这些数据发送到Kafka的主题。详细讲述了需求背景、实现思路以及具体的操作步骤，包括编写配置文件、反向代理设置和测试验证。

摘要由CSDN通过智能技术生成

文章目录

一、需求

使用 Kafka 做日志收集。
用户点击 HTML，Nginx 用于收集用户的点击数据流，记录日志 access.log，将 Nginx 收集的日志数据发送到 Kafka 主题：tp_individual
Tips:

需要收集的信息：

用户ID（user_id）
时间（act_time）
操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）
对方企业编码（job_code）

二、实现思路

实现思路如下：

编写 HTML（有个4个button）
配置 Nginx（基本配置和 ngx_kafka_module）

nginx 反向代理 HTML

配置 Nginx 的 access.log

配置 Kafka，创建 Topic（docker容器中）
监听 Topic，查看消息

三、实现

实现步骤如下：

编写 HTMl

<!DOCTYPE html>
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
        <meta name="viewport" content="width=device-width, initial-scale=1,shrink-to-fit=no">
        <title>index</title>
        <!-- jquery cdn, 可换其他 -->
        <script src="https://cdn.bootcdn.net/ajax/libs/jquery/3.5.1/jquery.js"></script>
    </head>
    <body>
        <input id="click" type="button" value="点击" onclick=