openresty+lua实现实时写kafka

最新推荐文章于 2024-09-13 11:24:20 发布

sky@梦幻未来

最新推荐文章于 2024-09-13 11:24:20 发布

阅读量3.2k

点赞数

分类专栏：大数据 openresty nginx 文章标签： openresty lua openresty+lua+nginx+kafka openresty+lua实现实时写kafka

本文链接：https://blog.csdn.net/qq_29497387/article/details/101290378

版权

本文介绍了在openresty+lua+nginx的环境下，为提高数据实时性，如何实现通过lua直接将数据实时写入kafka。内容包括openresty和lua的安装、lua-resty-kafka的下载与配置，以及kafka和zookeeper的安装与配置，最后展示了lua脚本和nginx配置的修改，并验证了实时写入的效果。

摘要由CSDN通过智能技术生成

一.背景

在使用openresty+lua+nginx+flume，通过定时切分日志发送kafka的方式无法满足实时性的情况下，小编开始研究openresty+lua+nginx+kafka实时写kafka，从而达到数据实时性，和高性能保证。

二.实现

1.openresty安装nginx，以及lua的使用请看博主上一篇博客
https://blog.csdn.net/qq_29497387/article/details/99745903
在这里就不再详细介绍了
2.下载lua-resty-kafka
cd /usr/local/openresty/nginx
wget https://github.com/doujiang24/lua-resty-kafka/archive/master.zip
unzip master.zip
3.将resty文件拷贝至kafka路径下（resty中存储的是lua中调用kafka的依赖包）
mkdir /usr/local/openresty/lualib/kafka
cp -rf /usr/local/openresty/nginx/lua-resty-kafka-master/lib/resty /opt/openresty/lualib/kafka/
4.安装zookeeper和kafka
安装zookeeper和kafka的教程不再详细介绍了，需要的可以百度一下相关的博客，与平常安装没有什么区别。
本博客测试机群介绍：
node2(192.168.9.22)：zookeeper，kafka࿰