python
呆萌的代Ma
这个作者很懒,什么都没留下…
展开
-
python使用多进程处理字符串格式的待执行函数及参数
python使用多进程处理字符串格式的待执行函数及参数原创 2024-06-26 13:17:49 · 304 阅读 · 0 评论 -
python解析字符串为可执行的函数,并指定参数
【代码】python解析字符串为可执行的函数,并指定参数。原创 2024-06-26 11:22:52 · 187 阅读 · 0 评论 -
pandas将dataframe展开/拉伸成一个series
【代码】pandas将dataframe展开/拉伸成一个series。原创 2024-06-25 13:21:12 · 230 阅读 · 0 评论 -
在dolphinDB上直接保存一个dataframe为分布式数据表
【代码】在dolphinDB上直接保存一个dataframe为分布式数据表。原创 2024-06-24 18:29:45 · 333 阅读 · 0 评论 -
使用python读取dolphinDB数据表的列名称
【代码】使用python读取dolphinDB数据表的列名称。原创 2024-06-24 18:23:19 · 143 阅读 · 0 评论 -
使用python在dolphinDB上运行SQL
使用python在dolphinDB上运行SQL原创 2024-06-24 18:17:03 · 561 阅读 · 0 评论 -
解决使用命令行运行python找不到根目录,无法import各个模块
【代码】解决使用命令行运行python找不到根目录,无法import各个模块。原创 2024-06-17 13:35:59 · 188 阅读 · 0 评论 -
pandas style设置渐变背景色 background_gradient
渐变背景色可以通过设置实现。原创 2024-06-06 13:47:25 · 541 阅读 · 0 评论 -
Luigi任务调度框架学习2:运行每一个Task,避免因判定完成导致跳过执行Task主程序
在上一篇Luigi的线性调度文章中,我们知道Task运行的时候:每个任务是否完成有两次判定,即:进行判定(未完成) =》运行def run(self)函数 =》进行判定(完成) =》运行后续的Task;如果第一次判定就完成,则不会执行当前Task的def run(self)函数但是Luigi支持的判定条件只有文件与SQL,在有些情况下(尤其是定时任务),我们希望它梳理并运行整个拓扑,而不是根据判定去决定是否运行,因此本文来解决这个问题,让我们能够直接运行Task。原创 2024-03-29 15:46:38 · 473 阅读 · 0 评论 -
Luigi任务调度框架学习1:线性调用流程
Luigi是一个上手很快的框架,用几个小时就可以学到足以应付常规多模块多任务的程序了。原创 2024-03-29 14:52:59 · 387 阅读 · 0 评论 -
解决pandas使用to_sql,传入sqlalchemy的create_engine后无法保存数据的问题
【代码】解决pandas使用to_sql,传入sqlalchemy的create_engine后无法保存数据的问题。原创 2024-03-27 16:26:55 · 443 阅读 · 0 评论 -
python使用pypika,链式调用动态生成SQL语句(1 常用查询)
它可以通过python程序的链式调用生成最后的SQL语句,在需要通过判断条件确定要不要添加某些SQL语句的情境下非常方便,通过。写一个封装SQL的工具会非常方便,但是弊端就是需要先想好生成的SQL语句。它无法在不清楚SQL语句的前提下实现结果。原创 2024-03-12 16:26:22 · 550 阅读 · 0 评论 -
python apscheduler添加监听器listener,用于自动化任务的反馈
apscheduler可以通过添加监听器,得到定时任务的反馈。监听会监听到的是,进入常量描述事件类。原创 2024-03-12 15:19:46 · 839 阅读 · 0 评论 -
解决pandas使用sqlalchemy保存到Mysql数据库时,bool布尔类型数据转为tinyint数据的读取
pandas在使用to_sql()保存数据到数据表中,Mysql会将bool类型的数据转为tinyint类型,比如:此时数据表字段的类型为:这样就可以在读取出数据之后,将指定的这两列bool_true与bool_false转为bool布尔类型的数据。原创 2024-03-11 14:58:45 · 505 阅读 · 0 评论 -
python处理带有时区的日期/时间数据
在实际的运算中,可以都转为UTC时间再计算。都表示:东八区 +8,相当于中国标准时区。这里我们使用一个辅助的库。任意时间直接转UTC时间。原创 2024-03-11 13:23:37 · 559 阅读 · 0 评论 -
解决python datetime创建UTC+8时区结果错误为+8:06的问题
修改原来的方法:datetime(2024, 1, 1, tzinfo=timezone("Asia/Shanghai"))为:datetime(2024, 1, 1,tzinfo=timezone("ETC/GMT-8"))原创 2024-03-11 10:21:32 · 557 阅读 · 0 评论 -
python使用unittest进行单元测试
通过一种规范的测试方法,可以帮助我们在修改程序后能够快速的检测一些bug,使用unittest。原创 2024-02-27 13:57:01 · 705 阅读 · 0 评论 -
pandas剔除带时区的数据
【代码】pandas剔除带时区的数据。原创 2024-02-04 12:58:03 · 364 阅读 · 0 评论 -
python使用read_sql与to_sql读写数据库
使用pandas读写数据库的方法(以Mysql为例)如下:读取数据库读取数据库read_sql()在读取的时候容易报错,有几个要点:1. 首先导入,然后以的形式传入第一个参数2. 在第二个参数需要使用。原创 2024-01-24 15:42:29 · 1005 阅读 · 0 评论 -
使用dataframe_image将dataframe表格转为图片
这个库可以将dataframe的表格转换为图片格式,比起数字,图片的格式在手机上会更清晰的看清楚数据及对应行列。原创 2024-01-15 09:17:31 · 1146 阅读 · 0 评论 -
pandas保存style到excel文件中
【代码】pandas保存style到excel文件中。原创 2024-01-04 15:29:04 · 852 阅读 · 0 评论 -
解决pycharm格式化程序自动删除未使用的import或代码行
使用pycharm的格式化时,不知道点了哪个导致未引用的import被自动删除。原创 2024-01-03 14:13:39 · 1170 阅读 · 0 评论 -
matplotlib饼图自定义每一个饼内显示的文本信息
有几个要点:1. 使用plt.pie()绘制饼图,同时需要有一个参数autopct(比如autopct='%.2f%%')这样就可以返回一个auto_texts的返回值2. 循环auto_texts的每个元素,是一个Text类,使用.set_text()就可以重新设置显示的数据了原创 2023-12-28 13:48:46 · 527 阅读 · 0 评论 -
python使用apscheduler定时任务,固定周几运行程序
在```add_job```中添加参数```day_of_week```即可原创 2023-12-25 10:28:47 · 932 阅读 · 0 评论 -
Python自适应调整Excel的列宽度
使用python调整列宽度的逻辑需要自己写,这里是参考参考文章中的内容,使用openpyxl打开文件后,将列宽度根据列的内容进行指定,使用来指定列宽。原创 2023-12-19 17:18:12 · 2216 阅读 · 0 评论 -
Python控制Excel自动刷新页面
这里我们使用python控制Excel的应用来直接刷新相关页面:1. 传入的Excel路径需要是完整的路径2. 使用wb.RefreshAll()进行刷新,老版本的程序是wb.refresh_all(),而博主测试的时候使用的应该是wb.RefreshAll()这个程序3. 刷新结束后等待一些时间,以便给程序更多时间,减少刷新一部分的概率4. 最后使用wb.Save()与xlApp.Quit()保存并退出,如果意外退出程序而没有运行xlApp.Quit(),需要进入控制台并关闭Excel的进程才行原创 2023-12-19 17:09:39 · 1034 阅读 · 0 评论 -
python使用feather加速读写
网上有测试说针对2G以下的单文件读写的效率非常高,这里做一个使用记录不过需要注意的是:DataFrame写入feather文件时,列(DataFrame.columns)需要是字符串类型。原创 2023-12-08 14:11:21 · 982 阅读 · 0 评论 -
python pandas读取zipfile压缩包中的某个文件
读取的流程如下:1. zip文件解压缩之后怎么用pandas读取,就在压缩包内也怎么读取2. 使用zipfile.ZipFile()打开压缩包3. 直接用zip_file.open('某个文件.csv')打开这个文件原创 2023-12-07 09:35:44 · 926 阅读 · 0 评论 -
python保存文件到zip压缩包中
这里我们使用zipfile注意:zipfile只支持utf8编码(与ascii,除此之外不支持别的编码),如果编码报错,请直接使用utf8读取或写入。原创 2023-11-20 16:49:38 · 291 阅读 · 0 评论 -
使用prettytable美化dataframe输出的表格
输出的思路比较简单:from_csv接收一个dataframe的csv的字节流即可。原创 2023-11-16 10:38:21 · 372 阅读 · 0 评论 -
python使用hashlib库运行MD5哈希算法
我们通过hashlib这个库可以实现这样的功能,其中MD5算法的使用流程是:1. 确定输入,将输入变为字符串(str)类型2. 确定编码str.encode("utf-8")3. 输出编码.hexdigest()原创 2023-11-10 10:09:12 · 282 阅读 · 0 评论 -
python定时任务scheduler根据参数执行
传入参数时:1. 使用```add_job```函数中添加参数:```args=[参数1, 参数2]....```2. 传入参数顺序与对应位置一致原创 2023-11-09 16:10:13 · 742 阅读 · 0 评论 -
python pandas提取正无穷inf与负无穷-inf所在数据行/列
【代码】python pandas提取正无穷inf与负无穷-inf所在数据行/列。原创 2023-10-26 15:13:46 · 297 阅读 · 0 评论 -
python解压压缩包,并保存压缩包文件
使用zipfile原创 2023-10-26 14:26:18 · 240 阅读 · 0 评论 -
python解析命令行参数为dict
主要包含参数的接收、解析与输出。原创 2023-10-16 10:34:38 · 184 阅读 · 0 评论 -
python运行带参数的python文件
运行这个程序,得到结果原创 2023-10-16 10:08:40 · 1008 阅读 · 0 评论 -
Python读取zip文件并解压,循环解压文件内的每个文件
读取并解压zip文件需要用到工具zipfile原创 2023-10-12 15:04:36 · 747 阅读 · 0 评论 -
python多线程Thread执行for循环并得到返回结果
【代码】python多线程Thread执行for循环并得到返回结果。原创 2023-10-10 10:25:47 · 723 阅读 · 0 评论 -
python使用apscheduler每隔一段时间自动化运行程序
【代码】python使用apscheduler每隔一段时间自动化运行程序。原创 2023-09-22 15:46:14 · 680 阅读 · 0 评论 -
python提取邮件的附件,以excel为例
【代码】python提取邮件的附件,以excel为例。原创 2023-09-01 17:04:34 · 1764 阅读 · 0 评论