python
JoXu
这个作者很懒,什么都没留下…
展开
-
aiokafka:Heartbeat failed: local member_id was not recognized; resetting and re-joining group
1.修改了很多消费组的配置,诸如session_timeout_ms、max_poll_interval_ms,最终都没有什么效果;2. 最终只有了一个治标的方法:在耗时并且只能同步执行的代码处加入0.1睡眠时间,这0.1秒的睡眠时间可以让消费组去发送心跳。再次查看错误信息,怀疑是消费组心跳没有发送/发送心跳超市导致服务端认为消费组已经死亡,从而当消费组发起心跳后会出现异常。根据错误信息的提示是max_poll_interval_ms设置太小,但经过修改后发现并不是这个原因;原创 2022-10-19 17:38:26 · 708 阅读 · 1 评论 -
sqlchemy: ‘Lost connection to MySQL server during query
db连接丢失,sql执行失败原创 2022-08-31 10:36:35 · 646 阅读 · 0 评论 -
aiokafka: Unexpected error during batch delivery KafkaError
现象:协程往topic推送数据时候抛出异常:Unexpected error during batch delivery KafkaError ;最终导致消息推送失败;原因:仅多个协程同时使用同一个生产者执行start函数,导致启动异常解决:让生产者start后才让协程推送数据....原创 2021-12-28 22:32:15 · 328 阅读 · 0 评论 -
pandas:执行merge后,发现填充列的数据精度丢失(数据不准确)
现象:两个df对象:A和B(A对象无id列,B对象有,int64类型);通过merge得到df对象C(其中on为['type']),发现C的id列数据精度丢失了(数据不准确了)原因:当merge时,部分行的id为nan,此时pandas会将id列的类型转成float;当id的数值太大是(超过12位),此时转换成float后得到的id将不准确。ps:如果merge时,不存在行的id为nan,则pandas不会进行转换,此时id列的数据函数准确的(还是int64)。测试示例:.原创 2021-10-11 12:01:05 · 1801 阅读 · 0 评论 -
sqlalchemy:在执行更新操作时,一直等待着(没报错)
错误情况:一直卡在execute,没有跑错,但也没有成功跑过去。实例代码:stmt = update(XXXTable).where(XXXTable.id == record['id']).values(update_value)awaitasync_session.execute(stmt)原因:个人推测是,插入的值(dict)其中的key和table的栏位字段不完全匹配。解决方式:将插入值的和表的字段匹配起来# record是一个dictupdate_col..原创 2021-07-07 16:49:20 · 575 阅读 · 0 评论 -
request: 设置重连次数
#设置重连次数requests.adapters.DEFAULT_RETRIES = 15# 设置连接活跃状态为Falses = requests.session()s.keep_alive = False原创 2021-04-08 15:21:18 · 1599 阅读 · 0 评论