python
文章平均质量分 86
四月的水
这世界许我,见山是山万仞山,见海是海无色海。
半身云图中遇你,山不再仞,海不再色,
白日春不渡,黑夜万梦星
展开
-
python多进程卡死排查记录
问题背景:python程序一开始为单进程结构,属于CPU密集型计算任务,为提高性能调整为多进程并行计算。调整后运行时程序启动一会就全部进程卡死,不再往下运行。问题排查:程序中没有使用到进程锁或者分布式锁,所以先是排除了死锁的原因,可能为逻辑BUG或者代码异常。多进程下只好通过打日志的方式定位下程序运行到什么位置了,最后定位出不再往下运行的代码行为:msgs: Dict = kwargs['msgs']这部分...原创 2021-08-13 16:12:56 · 8607 阅读 · 1 评论 -
kafka partition offset的保存时间及重置
kafka partition offset的保存时间及重置1. 问题背景后端业务流程设计上有两个进程会以生产者和消费者角色操作kafka,每次操作会指定kafka topic下的指定partition,一段时间没用这个功能后,再次使用是发现消费进程从指定partition中取出的数据不是生产者新写入的数据;即存在重复消费问题2. 问题排查查看被消费的topic的数据情况查看使用的消费组在当前数据的消费情况此时消费进程还在开着,可以看到 CURRENT-OFFSET 还在增长.原创 2020-07-15 17:36:57 · 2420 阅读 · 0 评论 -
使用py2neo查询/增加/删除neo4j索引
为避免在使用一个新建的graph_db时忘记创建索引,故在neo4j数据导入程序运行初进行索引的检查。实现方式为在配置文件中配置需要使用的索引信息, 和neo4j中已存在的索引进行比较, 根据比较结果进行索引的增加, 删除等配置文件config.pyclass CONFIG: class neo4j: host = "127.0.0.1" us...原创 2019-11-15 20:30:12 · 1976 阅读 · 0 评论 -
利用Linux的crontab实现python定时任务
linux 系统下的crontab 定时任务:*/2 表示定时任务周期。cron 执行日志 /var/log/croncrontab -e 添加定时任务crontab -l 查看添加的定时任务1.Ubuntu:service cron start / status / restart / stop编辑 /etc/crontab 文件添加定时任务:原创 2018-01-06 23:37:21 · 3042 阅读 · 1 评论 -
python 执行shell命令无法获取返回值的解决方法
问题背景:利用python获取服务器中supervisor状态信息时发现未能获取到返回值。python获取执行shell命令后返回值得几种方式:# 1.os模块ret = os.popen("supervisorctl status")ret_data = ret.read()# 2.subprocess模块ret = subprocess.Popen('supervisorctl sta...原创 2018-03-21 12:05:35 · 6122 阅读 · 0 评论 -
[scikit-learn] 特征二值化编码函数的一些坑
1. 前言2. 问题起源2.1. 对付数值型类别变量2.2. 对付字符串型类别变量2.3. 无用的尝试3. 另一种解决方案4. 参考资料1. 前言这几天埋头撰写『优雅高效地数据挖掘——基于Python的sklearn_pandas库』 一文,其中有一部分涉及如何批量并行地进行特征二值化,在此过...转载 2018-04-11 23:40:10 · 422 阅读 · 0 评论 -
flask_sqlalchemy获取数据库中已有的表
许多flask_sqlalchemy都是在程序初始化时进行建表,当需要使用数据库中已存在的表时,有以下几种方法:- 1. 在程序中将该表以ORM模型的形式写出,可借助sqlacodegen工具生成,但似乎太费事了;- 2. 将已存在的表反射出来;反射数据库中已存在的表from flask_sqlalchemy import SQLAlchemyfrom flask_sqlalchemy ...原创 2019-03-05 12:56:52 · 11353 阅读 · 11 评论