tornado使用confluent_kafka之消费者无法进入循环

最新推荐文章于 2024-04-24 13:49:13 发布
最新推荐文章于 2024-04-24 13:49:13 发布
阅读量558 收藏
点赞数
分类专栏： python 文章标签： kafka tornado
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunghosts/article/details/125817860
版权

tornado作为一个异步框架与confluent_kafka似乎并不是很匹配，具体见https://github.com/confluentinc/confluent-kafka-python/issues/100，对于性能要求不高的应用还是可以用下。
tornado是基于事件机制的，kafka消费者需要不断的轮询管道，我在主程序中使用threading包单独给kafka开了一个线程，发现这个后台线程可以正常启动进入函数，但是无法进入消费者的轮询代码，最终经过试错发现轮询代码中使用了tornado的一个协程，即AsyncHTTPClient的一个异步请求导致的，将该函数改成requests包的同步请求，问题解决但并没搞清其中原理。

PS：如果有看到这篇文章，并理解其中原理的请不吝惕教，在此谢过啦☺☺☺

sunghosts
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tornado_Device_Driver_Workshop.rar_Tornado Device_tornado_vxwork
09-23
开发vxworks 设备驱动的培训文档，workshop系列
kafka python客户端_confluent-kafka-smyte-合流的apachekafka Python客户端的Smyte fork-Confluent Inc...
weixin_35935264的博客
02-17 94
作者:Confluent Inc作者邮箱:support@confluent.io首页:https://github.com/smyte-forks/confluent-kafka-python文档:None下载链接 UNKNOWNSmyte forkWe created a fork to get timestamps working. This will be removed as soon ...
buuctf easy-tornado(cookie_secret)
qq_54929891的博客
02-27 1598
进入url可以看到三个超链接 都分别点开看看 并且发现url中传输了两个参数，一个是filename，另一个是filehash，在flag.txt中将filename改为提示的/fllllllllllllag试一试 看来拿到flag的关键就在于解出filehash是什么，根据连接的提示，我们可以猜想filehash=md5(cookie_secret+md5(filename))，filename我们知道就是/fllllllllllllag，但是cookie _secret我们就不.
python tornado多线程_tornado 使用多线程
weixin_28725037的博客
12-24 2357
前言tornado 线程支持非常不好, 我们更应该使用多进程, 而不是多线程. tornado 里面ioloop是一个单例, 也就是说全局只能有一个ioloop。传统的多线程为了让线程能并发处理更多事情, 我们会让每个线程用有独立的ioloop, 如果我们用libevent， 我们会为每一个线程创建一个event_base。tornado 如果我们要用多线程我们应该在主线程里面处理异步io事件, ...
python tornado多线程_Tornado与线程池
weixin_42489252的博客
12-24 1162
Tornado本身的设计目标是单线程异步非阻塞，要想很好的发挥它的性能最好使用异步IO，并且Tornado本身也提供了异步的AsyncHttpClient的实现，配合gen.coroutine和yield，可以让请求异步执行从而不阻塞当前线程，对于单线程服务器来说，阻塞(blocking)和同步的sleep这种会挂起线程的动作都是服务器的噩梦，因为只有一个线程，所以任何等待都会影响服务器对于其他请...
VxWork-And-Tornado.rar_Tornado vxwork_tornado_tornado and vxwork
09-19
嵌入式实时操作系统VxWorks及其开发环境Tornado all
install_tornado2_2.rar_tornado_tornado2.2_tornado安装_vxworks_vxwo
09-23
这事tornado的安装方法介绍，想利用它开发Vxworks的新手看
tornado2__tools_工具介绍.zip_tornado_vxwo_vxworks
09-24
用于开发vxword系统的工具介绍
Python 2.7,离线安装合集tornado,backports_abc,certifi,ordereddict,six
06-01
Python 2.7，离线安装 合集 tornado-4.4.2，python2-backports_abc-0.5-2，python-backports-ssl_match_hostname-3.5.0.1-1，python2-certifi-2016.9.26-2，future-0.15.1.tar.gz，future-0.17.1.tar.gz，python-...
Python--使用技巧（查看类结构）
sunghosts的专栏
12-09 2836
对于我这样的初学者，大概没有比在编程中能够快速查找帮助文档更重要的事情了。 在Python命令行的编程环境中，查找类结构可以通过以下命令 import math dir(math) ['__doc__', '__name__', '__package__', 'acos', 'acosh', 'asin', 'asinh', 'atan', 'atan2', 'atanh', 'ceil',
gunicorn配置文件
sunghosts的专栏
04-06 776
gunicorn.py配置文件的一个简单版本： # 并行工作进程数 workers = 4 # 指定每个工作者的线程数 threads = 2 # 监听内网端口5000 bind = '0.0.0.0:5000' # 设置守护进程,将进程交给supervisor管理 daemon = 'true' # 工作模式协程 worker_class = 'gevent' # 设置最大并发量 worker_connections = 2000 # 设置进程文件目录 pidfile = '/var/run/gunico
python操作mysql
sunghosts的专栏
01-01 764
Python Mysql开发有使用原生SQL语言和ORM框架两种方式。下面介绍下其中涉及到的知识点。 Python连接mysql的驱动包 python的mysql驱动包常用的有三个，分别是: pymysql, mysql-connector, MySQLdb。三个包都遵循PEP 249使用方式大同小异。 mysql-connector 是 MySQL 官方提供的驱动器, 它在Python中重新实现MySQL协议，它比较慢，但不需要C库，因此可移植性好。 MySQLdb是一个围绕mysql的瘦Python包装
python面向对象--接口
sunghosts的专栏
04-06 665
java中的接口 接口（英文：Interface），在JAVA编程语言中是一个抽象类型，是抽象方法的集合，接口通常以interface来声明。一个类通过继承接口的方式，从而来继承接口的抽象方法。 接口并不是类，编写接口的方式和类很相似，但是它们属于不同的概念。类描述对象的属性和方法。接口则包含类要实现的方法。 除非实现接口的类是抽象类，否则该类要定义接口中的所有方法。 接口无法被实例化，但是可以被实现。一个实现接口的类，必须实现接口内所描述的所有方法，否则就必须声明为抽象类。另外，在 Java 中，接口类型
numpy--pad函数的常用方法
sunghosts的专栏
06-29 362
参数解释 ndarray = numpy.pad(array, pad_width, mode, **kwargs) array为要填补的数组 pad_width是在各维度的各个方向上想要填补的长度,如((1，2),(2，2))，表示在第一个维度上水平方向上padding=1,垂直方向上padding=2,在第二个维度上水平方向上padding=2,垂直方向上padding=2。如果直接输入一个整数，则说明各个维度和各个方向所填补的长度都一样。 mode为填补类型，即怎样去填补，有“const
This event loop is already running
sunghosts的专栏
09-16 342
在jupyter notebook中使用asyncio包时，会发生 This event loop is already running 的错误。 解决办法是安装nest_asyncio pip install nest_asyncio 并在导入前调用 import nest_asyncio nest_asyncio.apply()
客户端-服务端模型介绍（RPC，SOAP，REST）
sunghosts的专栏
03-21 277
前言 最近几年， Web 程序有种趋势，那就是业务逻辑被越来越多地移到了客户端一侧，开创出了一种称为富互联网应用（Rich Internet Application， RIA）的架构。在 RIA 中，服务器的主要功能（有时是唯一功能）是为客户端提供数据存取服务。在这种模式中，服务器变成了 Web 服务或应用编程接口（Application Programming Interface， API）。 ...
python面向对象--抽象类
sunghosts的专栏
04-06 266
抽象类是不能被实例化的类，它用于指定子类必须提供哪些功能，却不实现这些功能。抽象类要有抽象方法，子类实现所有抽象方法后就才能实例化，当然抽象类也可以有非抽象的方法。 抽象类的子类通过继承跟抽象类发生关联，子类通过super()调用抽象类中定义的方法。 python是支持面向对象的编程语言，其实现通过第三方扩展库来实现：abc(Abstract Base Class)模块。Python的抽象基类使用有两种方式：真实子类和虚拟子类。 真实子类 真实子类必须完全实现抽象基类的所有抽象方法。 一个栗子： impor
Linux上部署Jupyter notebook
最新发布
sunghosts的专栏
04-24 254
在浏览器输入服务器的IP地址:9999，小编这里是34.81.173.39:9999，访问。
tornado_mysql事务_tornado_mysql的pool使用事务的方法。
05-18
在使用`tornado_mysql`的连接池时，可以使用以下代码来执行事务: ```python import tornado.ioloop import tornado.web import tornado.gen import tornado_mysql class MainHandler(tornado.web.RequestHandler):...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值