Kafka做日志收集

最新推荐文章于 2024-08-10 14:21:01 发布

Lossdate

最新推荐文章于 2024-08-10 14:21:01 发布

阅读量1.2k

点赞数 1

分类专栏： MQ 文章标签： kafka

本文链接：https://blog.csdn.net/Lossdate/article/details/118074461

版权

MQ 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

                    
                        
                    
                    一、简介 
工作流程
 1）用户的操作会由Web服务器进行响应
 2）同时用户的操作也会使用ajax向Nginx发送请求，Nginx用于收集用户的点击数据流
 3）Nginx收集的日志数据使用ngx_kafka_module将数据发送到Kafka集群的主题中
 4）只要数据保存到Kafka集群主题，后续就可以使用大数据组件进行实时计算或其他的处理了
架构
 HTML + Nginx + ngx_kafka_module + Kafka
 ngx_kafka_module下载：https://github.com/brg-liuwei/ngx_kafka_module
 注：由于ngx_kafka_module只能接收POST请求，同时一般Web服务器不会和数据收集的Nginx在同一个域名，会涉及到跨域问题，可以在nginx中配置跨域来解决
环境
 192.168.200.136 nodeA -> nginx & ngx_kafka_module
 192.168.200.139 nodeB -> kafka
 192.168.200.140 nodeC -> kafka
 192.168.200.141 nodeD -> kafka
 
二、安装ngx_kafka_module 
安装gityum install -y git
 
安装librdkafkamkdir /usr/local/kafka-module
cd /usr/local/kafka-module
git clone https://github.com/edenhill/librdkafka

cd /usr/local/kafka-module/librdkafka
./configure
make && make install
 问题：c++ : 未找到命令
 解决：yum -y install gcc+ gcc-c++
 
下载ngx_kafka_modulecd /usr/local/kafka-module
git clone https://github.com/brg-liuwei/ngx_kafka_module
 
 
三、安装nginx (案例使用nginx-1.19.6.tar.gz) 
解压tar -zxvf nginx-1.19.6.tar.gz -C /usr/local
 
编译cd /usr/local/nginx-1.19.6/
./configure --add-module=/usr/local/kafka-module/ngx_kafka_module
 
安装make && make install
 问题：make: *** 没有规则可以创建“default”需要的目标“build”。 停止。
 解决：yum -y install gcc openssl openssl-devel pcre-devel zlib zlib-devel
 
配置环境变量cd /etc/profile

#末尾追加
export NGINX_HOME=/usr/local/nginx
export PATH=$PATH:$NGINX_HOME/sbin
 
生效配置. /etc/profile
 
启动cd /usr/local/nginx/sbin 
./nginx
 问题：./nginx: error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
 解决：echo "/usr/local/lib" >> /etc/ld.so.conf
ldconfig
 
验证浏览器访问对应的80口
 
 
四、kafka集群配置 
安装和启动Kafka集群
 基于JDK1.8的Kafka集群搭建
创建主题 tp_nginx_kafkakafka-topics.sh --zookeeper nodeB:2181/myKafka --create --topic tp_nginx_kafka --partitions 3 --replication-factor 2
 
nodeA修改nginx配置文件vim /usr/local/nginx/conf/nginx.conf

#在http下添加
#kafka配置
kafka;
#配置kafka broker,多个用逗号隔开
kafka_broker_list 192.168.200.139:9092,192.168.200.140:9092,192.168.200.141:9092;
server {
    #topic 消息转发到kafka
    location = /log.gif {
        #开启跨域
        add_header 'Access-Control-Allow-Origin' '*';
        add_header 'Access-Control-Allow-Credentials' 'true';
        kafka_topic tp_nginx_kafka;
    }
}
 
重新加载nginxcd /usr/local/nginx/sbin 
nginx -s reload
 
测试#nodeB kafak启动消费
kafka-console-consumer.sh --bootstrap-server nodeB:9092 --topic tp_nginx_kafka

#nodeA 向kafka集群发送消息测试
curl nodeA/log.gif -d "this is a gift to kafka -> tp_nginx_kafka"
 可以看到消息发送成功且集群收到消息
 
 
 
五、验证 
页面 nginx-kafka.html<!doctype html>
<html>
<head>
  <meta charSet="utf-8"/>
  <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=5.0, minimum-scale=1.0"/>
  <title>nginx-kafka</title>
</head>
<body>
  <button onclick="sendkfk('signIn')">登录</button>
  <button onclick="sendkfk('signUp')">注册</button>
  <button onclick="sendkfk('click')">点击</button>
  <button onclick="sendkfk('like')">点赞</button>
  <button onclick="sendkfk('collect')">收藏</button>
  <button onclick="sendkfk('comment')">评论</button>
  <button onclick="sendkfk('send')">转发</button>
  
  <script type="text/javascript" src='https://cdn.bootcss.com/jquery/3.3.1/jquery.min.js'></script>
  <script>
    function sendkfk(currentAction){
        var info = {};
        info.userId = 123456;
		info.userName = 'Test';
        info.actTime = new Date();
        info.action = currentAction;
        info.code = "LEGEND-CEO";
        $.ajax({
            type: "post",
            url: "/log.gif",
            data: JSON.stringify(info),
            success: function(res){
            }
        });
    }
  </script>
</body>
</html>
 
上传到服务器mkdir -p /usr/local/nginx/html/static/kafka-test
cd /usr/local/nginx/html/static/kafka-test/
rz
 
配置nginx.confvim /usr/local/nginx/conf/nginx.conf

server {
  listen   80;
  server_name  localhost;
  
  location / {
     root /usr/local/nginx/html/static/kafka-test/;
     index nginx-kafka.html;
  }
}
 
重新加载nginxcd /usr/local/nginx/sbin 
nginx -s reload
 
访问 http://192.168.200.136/static/kafka-test/nginx-kafka.html
 
点击功能按钮后在kafka上验证
 

                