基于ngx_kafka_module收集用户操作信息

已于 2023-07-17 21:07:51 修改
阅读量514 收藏 2
点赞数
分类专栏： kafka 文章标签： nginx
于 2020-09-26 09:14:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23830637/article/details/108807708
版权

前置条件

需要先完成对kafka的搭建

环境介绍

服务器： 阿里云Centos7.4

kafka版本： kafka_2.12-1.0.2

nginx： nginx-1.15.6

操作流程

1.安装编译kafka的c客户端源码

clone kafka的c客户端源码

cd /usr/local

git clone https://github.com/edenhill/librdkafka

编译

cd librdkafka

yum install -y gcc gcc-c++ pcre-devel zlib-devel
#编译
./configure

make && make install

2.安装nginx整合kafka的插件

clone nginx的kafka的插件ngx_kafka_module

cd /usr/local

git clone https://github.com/brg-liuwei/ngx_kafka_module

编译nginx添加插件

cd /usr/local/src/nginx-1.15.6

./configure --add-module=/usr/local/ngx_kafka_module/

#编译
make && make install

#查看模块是否安装上
/usr/local/nginx/sbin/nginx -V

如果启动nginx，报错，找不到kafka.so.1的文件

error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory

加载so库

echo "/usr/local/lib" >> /etc/ld.so.conf

ldconfig

nginx配置文件

#user  nobody;
worker_processes  1;
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;
    sendfile        on;
    #tcp_nopush     on;
    #keepalive_timeout  0;
    keepalive_timeout  65;
    #gzip  on;
    
    kafka;
    #kafka地址信息
    kafka_broker_list 127.0.0.1:9092;  
    
    server {
        listen       80;
        server_name  localhost;
        #charset koi8-r;
        #access_log  logs/host.access.log  main;
        location = /operation {
        		#主题 这里设置为tp_individual
                kafka_topic tp_individual;
        }

        #error_page  404              /404.html;
        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }

}

测试

访问页面进行操作按钮点击
在这里插入图片描述
kafka开启消费者测试结果

#开启消费者测试结果
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic tp_individual

在这里插入图片描述

html页面代码

<!DOCTYPE html>
<html lang="zh-CN">
	<head>
		<meta charset="utf-8" />
		<title>职位浏览</title>
		<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
		<link rel="stylesheet" href="comm/bootstrap-4.4.1-dist/css/bootstrap.css">
		<link rel="stylesheet" href="comm/font-awesome/css/font-awesome.css">
		<link rel="stylesheet" href="css/header.css">
		<link rel="stylesheet" href="css/footer.css">
		<style>
			a:hover{
				text-decoration: none;
			}
			a:focus,a:active{
				outline: 0;
			}
			
			/* 订单图片大小 */
			.money-icon{
				display: inline-block;
				width: 20px;
				height: 20px;
				border-radius: 10px;
				text-align: center;
				line-height: 20px;
				background-color: orange;
				color: white;
				font-size: 0.7rem;
				font-style: normal;
			}
			.zhifu-img{
				height: 80px;
			}
		</style>
	</head>
	<body>
		
		
		<div class="container-fluid mt-5 pt-5">
			<div class="row">
				<div class="col-lg-2 position-fixed text-center overflow-auto" style="height: 570px;">
					<div>
						<img class="img-thumbnail" src="img/mps.jpg" alt="">
					</div>
					<p class="h6 mt-3"><span id="user_id">10010</span><span >喵帕斯！</span你好</p>
				</div>
				<div class="col-lg-10 offset-2 border-left">
					<div class="row">
						<div class="col-lg-12">
							<a name="myorder"></a>
							<p class="h6 mt-3 pb-2 border-bottom" style="padding-top: 100px;">职位浏览</p>
						</div>
						<div class="col-lg-12 ">
							<div class="row">
								<div class="col-lg-4">
									<strong>职位</strong>
								</div>
								<div class="col-lg-1">
									<strong>企业编码</strong>
								</div>
								<div class="col-lg-1">
									<strong>薪资</strong>
								</div>
								<div class="col-lg-1">
									<strong>操作</strong>
								</div>
							</div>
						</div>
						<div class="col-lg-12"   id="div_order">
							<div class="bg-light p-3 ">
								<strong>阿里巴巴</strong>
								<span class="ml-5">信息安全,物联网 不需要融资 北京·万寿寺</span>
								<span></span>
							</div>
							<div class="row border border-top-0 align-items-center ml-0 mr-0">
								<div class="col-lg-4">
									<span>J6673</span>
									<img src="img/aliaba.png" height="80" alt="">
									<span>JAVA开发工程师</span>
								</div>
								<div class="col-lg-1">
									A10101
								</div>
								<div class="col-lg-1">
									<i class="fa fa-rmb">20-30K</i>
								</div>
								<div class="col-lg-3">
									<a href="javascript:void(0);" onclick="operation('A10101','click')">点击|</a>
									<a href="javascript:void(0);" onclick="operation('A10101','job_collect')">收藏|</a>
									<a href="javascript:void(0);" onclick="operation('A10101','cv_send')">投简历|</a>
									<a href="javascript:void(0);" onclick="operation('A10101','cv_upload')">上传简历</a>
								</div>
							</div>
						</div>
						<div class="col-lg-12"   id="div_order">
							<div class="bg-light p-3 ">
								<strong>阿里巴巴</strong>
								<span class="ml-5">信息安全,物联网 不需要融资 北京·万寿寺</span>
								<span></span>
							</div>
							<div class="row border border-top-0 align-items-center ml-0 mr-0">
								<div class="col-lg-4">
									<span>J6673</span>
									<img src="img/aliaba.png" height="80" alt="">
									<span>JAVA开发工程师</span>
								</div>
								<div class="col-lg-1">
									A10102
								</div>
								<div class="col-lg-1">
									<i class="fa fa-rmb">10-15K</i>
								</div>
								<div class="col-lg-3">
									<a href="javascript:void(0);" onclick="operation('A10102','click')">点击|</a>
									<a href="javascript:void(0);" onclick="operation('A10102','job_collect')">收藏|</a>
									<a href="javascript:void(0);" onclick="operation('A10102','cv_send')">投简历|</a>
									<a href="javascript:void(0);" onclick="operation('A10102','cv_upload')">上传简历</a>
								</div>
							</div>
						</div>
						<div class="col-lg-12"   id="div_order">
							<div class="bg-light p-3 ">
								<strong>阿里巴巴</strong>
								<span class="ml-5">信息安全,物联网 不需要融资 北京·万寿寺</span>
								<span></span>
							</div>
							<div class="row border border-top-0 align-items-center ml-0 mr-0">
								<div class="col-lg-4">
									<span>J6673</span>
									<img src="img/aliaba.png" height="80" alt="">
									<span>JAVA开发工程师</span>
								</div>
								<div class="col-lg-1">
									A1333
								</div>
								<div class="col-lg-1">
									<i class="fa fa-rmb">11-20K</i>
								</div>
								<div class="col-lg-3">
									<a href="javascript:void(0);" onclick="operation('A1333','click')">点击|</a>
									<a href="javascript:void(0);" onclick="operation('A1333','job_collect')">收藏|</a>
									<a href="javascript:void(0);" onclick="operation('A1333','cv_send')">投简历|</a>
									<a href="javascript:void(0);" onclick="operation('A1333','cv_upload')">上传简历</a>
								</div>
							</div>
						</div>
						<div class="col-lg-12"   id="div_order">
							<div class="bg-light p-3 ">
								<strong>阿里巴巴</strong>
								<span class="ml-5">信息安全,物联网 不需要融资 北京·万寿寺</span>
								<span></span>
							</div>
							<div class="row border border-top-0 align-items-center ml-0 mr-0">
								<div class="col-lg-4">
									<span>J6673</span>
									<img src="img/aliaba.png" height="80" alt="">
									<span>JAVA开发工程师</span>
								</div>
								<div class="col-lg-1">
									B34D21
								</div>
								<div class="col-lg-1">
									<i class="fa fa-rmb">20-30K</i>
								</div>
								<div class="col-lg-3">
									<a href="javascript:void(0);" onclick="operation('B34D21','click')">点击|</a>
									<a href="javascript:void(0);" onclick="operation('B34D21','job_collect')">收藏|</a>
									<a href="javascript:void(0);" onclick="operation('B34D21','cv_send')">投简历|</a>
									<a href="javascript:void(0);" onclick="operation('B34D21','cv_upload')">上传简历</a>
								</div>
							</div>
						</div>

					</div>
				</div>
			</div>
		</div>
		</div>
		<script src="js/jquery.js"></script>
		<script src="comm/bootstrap-4.4.1-dist/js/bootstrap.js"></script>
		<script src="js/header.js" type="text/javascript"></script>
		
	</body>

	<script>
		

		function operation(job_code,action) {
			$.ajax({
				url: 'http://47.98.199.254/operation',
				type: 'POST',
				contentType: 'application/json;charset=utf-8',
				dataType: 'json',
				data:{
				  user_id:$("#user_id").html(),
				  act_time:  new Date().getTime(),
				  action:action,
				  job_code:job_code
				},
				success: function (data) {

				}
			})
		}
	</script>
</html>
零2一
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ngx_kafka_module, Nginx Kafka 模块，将日志日志数据发送到 Kafka 群集.zip
10-10
ngx_kafka_module, Nginx Kafka 模块，将日志日志数据发送到 Kafka 群集 Nginx Kafka 模块 Nginx Kafka MODULE 用于接收 HTTP POST 数据并向 Kafka 传递消息。如果使用这里 MODULE 时存在任何问题，请随时向我发送...
kafka-ngx_kafka_module
小城我家
11-16 339
使用Kafka做日志收集。 一、需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） git clone https://github.com/edenhill/librdkafka cd librdkafka ./configure make sudo make install 下载模块 git clon
ngx_kafka_module 模块安装
xiaosong_2016的博客
09-10 408
1.依赖安装 yum install wget git -y yum install gcc-c++ -y cd /opt/moudle git clone https://github.com/edenhill/librdkafka cd librdkafka ./configure make sudo make install 2.nginx下载与安装 wget http://nginx.org/download/nginx-1.17.8.tar.gz tar -zxvf nginx-1.17.8.
Kafka基于nginx_kafka_module 收集日志
qq_37022492的博客
06-27 353
使用Kafka做日志收集。 需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 1、HTML可以理解为拉勾的职位浏览页面 2、Nginx用于收集用户的点击数据流，记录日志access.log 3、将Nginx收集的日志数据发送到Kafka主题：tp_individual 架构： HTML+Nginx+ngx_
实战：HTML+Nginx+ngx_kafka_module+Kafka实现日志收集系统
weixin_41701308的博客
04-04 359
实战：kafka实现日志收集系统1. 需要收集的信息2. 工作流程3. 架构4. 实战步骤5.实现过程5.1 kafka集群搭建5.2 编写 HTML5.3 配置 nginx5.4 创建 kafka 的 topic5.5 测试 1. 需要收集的信息 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 2.
Nginx整合Kafka
qq_42409495的博客
01-10 3528
Nginx：一个高性能的HTTP和反向代理web服务器，实际生产中一般用作负载均衡； Kafka：一种高吞吐量的分布式发布订阅消息系统，实际生产中一般用作流式处理中间件； Nginx和Kafka都有非常优秀的性能，实际生产中，往往都是通过Nginx记录日志生成日志文件，然后再通过Flume将日志文件的内容读取到Kafka，中间会有一个写文件和读文件操作，性能势必会受到一些影响； 下面介绍一下把Nginx的日志直接写入到Kafka的实现过程： 1.安装git git主要用于拉取源码文件 yum i
ngx_stream_module.so
12-22
nginx1.20.2
ngx_http_proxy_connect_module.zip
06-17
它的工作模式基于事件驱动，可以高效地处理大量的连接请求，特别适合用作负载均衡器或缓存服务器。 ngx_http_proxy_connect_module的安装过程通常包括以下步骤： 1. 下载模块源代码：从官方仓库或者第三方提供者处...
ngx_http_geoip2_module:使用ngx_http_geoip2_module编译Nginx 1.15.0并下载GeoIP 2数据库
05-11
带有ngx_http_geoip2_module和GeoIP2数据库的Nginx 1.15.0 这是用于使用ngx_http_geoip2_module编译Nginx 1.15.0并将Nginx安装到服务器中的脚本。 此外，该脚本还有助于下载Maxmind GeoIP2国家/地区数据库的免费版本...
ngx_stream_ssl_preread_module调研.docx
06-06
NGX_STREAM_SSL_PREREAD_MODULE 是一个基于流媒体（Stream）实现的 SSL/TLS 协议 ClientHello 消息提取模块，主要用于提取 SNI（Server Name Indicate）或者 ALPN（Application Layer Protocol Negotiation，应用层...
nginx_kafka_module:nginx kafka模块-将POST请求内容保存到kafka
05-14
##声明 此模块是在 基础上改写，将原来的向单个broker发送 POST请求，改为可以向broker集群发送POST请求。 在此对brg_liuwei表示由衷的感谢。 ##Introduction This module is used to send post data from nginx to kafka. ##Installation ###1 install librdkafka git clone https://github.com/edenhill/librdkafka cd librdkafka ./configure make sudo make install ###2 compile nginx with nginx kafka module git clone https://github.com/zhangxin23/nginx_kafka_module c
ngx_kafka_module学习
jiqiren1994的博客
03-07 207
学习学习
HTML+Nginx+ngx_kafka_module+Kafka
huni的博客
01-19 523
需求：使用Kafka做日志收集。 需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 说明： 1、HTML可以理解为拉勾的职位浏览页面 2、Nginx用于收集用户的点击数据流，记录日志access.log 3、将Nginx收集的日志数据发送到Kafka主题：tp_individual 架构： HTML+Ngi
安装nginx-kafka插件ngx_kafka_module笔记
weixin_34014555的博客
05-26 426
2019独角兽企业重金招聘Python工程师标准>>> ...
【Kafka】之 nginx_kafka_module（20.1）
fanfan4569的博客
09-21 801
文章目录一、需求二、实现思路三、实现 一、需求 使用 Kafka 做日志收集。 用户点击 HTML，Nginx 用于收集用户的点击数据流，记录日志 access.log，将 Nginx 收集的日志数据发送到 Kafka 主题：tp_individual Tips: 需要收集的信息： 用户ID（user_id） 时间（act_time） 操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 对方企业编码（job_code）
基于ngx_kafka_module插件做日志收集（git安装）
老三学加瓦
08-25 253
文章目录安装git安装kafka的c客户端安装nginx整合kafka的插件nginx配置文件重启nginx测试 安装git [root@10 nginx]# yum install -y git ... 作为依赖被安装: perl-Error.noarch 1:0.17020-2.el7 perl-Git.noarch 0:1.8.3.1-23.el7_8
nginx+lua+kafka实现日志统一收集汇总
热门推荐
u011239989的博客
08-18 1万+
[转载]原文出处:http://hot66hot.iteye.com/blog/2291916一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起
4.nginx发送kafka消息
kang123488的博客
03-11 6028
背景：使用cache03作为流量分发服务器，cache02和cache01作为应用服务器nginx日志目录 /usr/servers/nginx/logs1、nginx+lua将访问流量上报到kafka中 在nginx应用服务器这一层，接收到访问请求的时候，就把请求的流量上报发送给kafka这样的话，storm才能去消费kafka中的实时的访问日志，然后去进行缓存热数据的统计用得技术方案非常简单，...
nginx安装ngx_http_mp4_module
最新发布
05-24
要在 Nginx 中安装 ngx_http_mp4_module 模块，需要按照以下步骤进行操作： 1. 确认 Nginx 是否支持 ngx_http_mp4_module 模块 首先需要确认 Nginx 是否支持 ngx_http_mp4_module 模块，可以使用以下命令查看 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值