- 博客(75)
- 收藏
- 关注
RSS订阅原创 python3.8-3.10各新版本新特性
为了支持多版本的 Python，包括一些不是 CPython 的版本（如 PyPy），现在库文件会为每个 Python 版本创建对应的.pyc 文件，格式形如「name.interp-version.pyc」。在上面的代码中，我们定义了一个名为AsyncContextManager的异步上下文管理器，并使用新的async with语法将其应用于my_coroutine异步函数。在上面的代码中，我们定义了一个名为greet()的函数，并使用类型提示指定了参数和返回值的类型。已经从暂定状态晋级为稳定 API。
2023-12-15 09:41:35
1755
原创 How to fix “Failed to fetch log file from worker. Unsupported URL protocol“ error in Airflow DAG log
有些时候手动执行dag或者新增dag就会出现在会出现这个问题
2023-06-02 16:03:43
313
原创 conda在docker中不能正常初始化以及找不到的问题及解决
在使用dockerfile 来build docker镜像的过程中，经常报错找不到conda。哪怕source 用户的.bashrc也不行。这次想探究一下为什么在docker build阶段会找不到已经安装好并且conda init过的conda。
2023-05-12 17:48:07
1683
1
原创 AttributeError: ‘OptionEngine‘ object has no attribute ‘execute‘
在这篇文章中看到，sqlalchemy的1.4和2.0两种不同的语法，pandas暂时还不支持2.0，所以将sqlalchemy回退到1.4.45即可。
2023-02-27 11:23:45
6292
3
原创 critical libmamba Invalid spec, no package name found:
但是在conda中，原本的req.txt也是可以使用的，只能说mamba和conda在细微处还是不能互换。最后发现是因为(micro)mamba不支持在文件中有空行，把req.txt中的空行删掉即可。使用micromamba从文件中安装指定版本依赖包，执行命令。req.txt修改后内容。req.txt的内容。
2023-02-27 11:23:39
425
原创 使用numba遇到Segmentation fault (core dumped)
同事告诉我，是因为我在多线程（多线程、loky也是一样）中使用了numba的parallel参数，在线程中套了线程会有异常，建议不要使用numba的parallel=True。想要加速不如多线程执行函数，函数中解开GIL锁。使用numba+joblib会抛异常。
2023-02-27 11:23:09
371
2
原创 numba导入遇到SystemError: initialization of _internal failed without raising an exception
原因是貌似是numba对于1.23.5的numpy支持不太好
2023-02-27 11:21:50
13379
4
原创 signature from “Frederik Schwan ＜frederik.schwan@linux.com＞“
上述命令将更新Arch Linux系统中的新密钥，并禁用已吊销的密钥之后就会不会遇到类似问题了。安装archlinux-keyring，也可以用。安装docker的时候遇到签名问题。
2023-02-23 10:59:29
785
原创 import setuptools.version遇到pkg_resource异常
在自己写的包中使用到joblib和setuptools，在导入的时候经常容易卡主，一次严重影响到了生产，故尝试解决。
2023-02-22 15:27:40
349
原创 numba ImportError: Numba needs NumPy 1.21 or less
升级numba就遇到了这个问题。然后尝试卸载numba后重装也不行。据朋友说问题出在llvmlite上。numba依赖于llvmlite，但是在（用conda、pip）升级numba的过程中旧版本的llvmlite不会被删掉，导致新版本的llvmlite没装上就会出现这个问题。先用pip删除llvmlite（别用conda删，很啰嗦），再用pip升级numba，就解决了！
2023-02-13 14:58:41
1637
原创 Timestamp中的astimezone与tz_localize、astimezone的区别
astimezone和tz_convert还有更细致的区别， 等在实践中深入了解吧。
2022-11-15 15:04:08
127
原创 Timestamp中的astimezone与tz_localize、astimezone的区别
astimezone和tz_convert还有更细致的区别， 等在实践中深入了解吧。
2022-10-20 12:20:00
167
原创 特殊环境下的conda环境激活
是针对jenkins的Execute shell，因为这个Execute shell内部默认使用的是dash而不是bash，所以需要显式调用bash。指的就是docker容器内部或者jenkins的Execute shell内部.能看出环境其实是存在的。在特殊环境内正常执行。...
2022-08-31 12:28:26
862
原创 解决This application failed to start because no Qt platform plugin could be initialized.
解决This application failed to start because no Qt platform plugin could be initialized.
2022-08-13 22:39:02
10553
2
原创 解决Failed to determine matplotlib’s data directory!
解决Failed to determine matplotlib’s data directory!
2022-08-13 21:44:36
1177
2
原创 pandas中的isalnum、isdecimal、isdigit、isnumeric、isalpha
最近在忙着把pandas的文档详细过一遍，毕竟提升对“武器”熟练度也是很重要的。正好看到series.str中这些个方法，在处理的时候很容易迷惑，故整理一番文档。
2022-08-09 17:44:42
2269
原创 itertools.groupby与pandas.groupby的异同
最近遇到一个bug，发现是由于itertools.groupby的用法与想象中不一样导致的...
2022-06-22 14:23:35
360
原创 关于pandas通过操作文件操作符读取文件首行时遇到的一点异常
处于业务上的原因，我需要先用pandas读取一下文件首行，再用pyarrow读取剩余的数据。但是在程序运行完后发现少了700多行数据。
2022-06-09 18:10:03
244
原创 Git Copilot waiting for Github authentication...
Pycharm：2021.3Git Copilot: 1.1.22.1530问题从Git Copilot 1.1.20.1417升级上来后，提示要重新登录，但一直登录不上。就这遇到的一样 https://github.com/github/feedback/discussions/16960猜测大佬的猜测One guess is that the new version IntelliJ 1.1.22.1530 no longer respects the proxy settings of
2022-05-24 15:19:03
1630
7
原创 airflow的官方镜像内解决pyarrow动态链接库的问题
背景用airflow的官方镜像来做任务更新。同时需要建一个miniconda环境安装pyarrow包，2.2.0版本的官方镜像安装pyarrow就能直接使用，但是从2.2.1开始往后的镜像内，安装pyarrow没问题，但是一旦到使用的时候就开始报错大概意思是我的动态链接库版本太低，找不到需要的版本。解决参考 博客1 文章1感觉直接升级库的话会导致很多不可挽回的损失，最直接的就是系统崩了。所以把高版本的库软连接过来才是最佳的选择。而且发现两个点：报错的这个路径 /usr/lib/x86_6
2022-05-09 16:01:33
329
原创 解决airflow中conda环境激活问题
背景使用Airflow官方镜像+miniconda搭建任务调度环境，之前使用的是airflow-python3.8的镜像，用root在miniconda中安装了一个python3.8的环境，任务调度时没有激活环境，直接用虚拟环境中的python路径执行python脚本的。一直那么用着，一年多了都没啥问题。但是最近把重新建了一个3.9的虚拟环境就炸了。报错是找不到psutil包，但其实我已经在虚拟环境中安装了，不过是用pip装的。我的依赖分两个途径安装，一个是conda install，一个是pip i
2022-05-09 15:59:36
410
原创 python环境打包exe太大？你需要python嵌入式
引用 https://zhuanlan.zhihu.com/p/77028265背景我最近需要打包一个项目给客户，但是用exe的话太大了，不够“优雅”，于是想起了这篇帖子，打算整理一下流程。下载与其说是打包，不如说是从0开始构建一个环境。首先需要下载python嵌入式包，按照自己电脑的配置来选择，我的是windows平台64位。下载链接解压到一个文件夹下，例如我的是python-3.9.12-embed-amd64文件夹。配置&下载pip没有pip怎么安装其他包对不.
2022-04-21 11:34:37
2682
5
原创 jekins中anaconda python环境的切换
背景最近需要在jekins上做一个sphinx的文档自动化。其中make html需要当前python环境支持需要文档自动化的项目。问题1jekins中的execute shell中默认的是python环境/usr/bin/python。这个公共的环境并不具有我需要的包，因此需要切换成我自己的conda环境。众所周知，激活conda环境需要 source activate 环境名。但是我在执行的遇到了报错称我的环境找不到source。source怎么可能没有呢？？？查询了资料后才知道，原来是终
2022-04-19 11:54:09
1664
原创 爬某度搜索结果的数量
背景有一个爬某度搜索结果数量的任务，打算用多线程+代理池做。没怎么写过用代理的爬虫，所以打算通过这个任务加深对代理的理解代码先上代码：import requestsimport threadingfrom math import ceilimport pandas as pdfrom pathlib import Pathfrom tqdm import tqdmimport reimport timeimport randomimport socketimport urlli
2022-03-27 12:22:23
1151
原创 用python定时给女友发天气预报并给自己弹窗
思路注册天气数据接口接口调用方式在文档中可以查看。有两种验证方式，我们现在选择简单的一种：仅用私钥认证使用cn2an包将周期几翻译成中文数字弹窗用plyer包使用smtplib发邮件，具体做法可以参考之前的文章 python发邮件极简版关于定时功能，linux的话可以用crontab，window的话可以用系统自带的任务计划程序注册天气接口首先，访问 心知天气，进行登录或者注册操作，然后在控制台上创建一个免费版的项目，创建后，项目信息为：重点是这个私钥，后面会用到代码# co
2022-03-18 16:16:17
2366
原创 python 发邮件极简版
import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerdef send_email(subject, email_content, toaddr='xxx@qq.com'): """ 发送邮件 Parameters ---------- subject: 邮件标题 email_content: 邮件内容 toaddr: 收件人邮箱，有..
2022-03-18 13:42:56
876
原创 极简版setup.up打包sdk
setup.py# coding=utf-8from setuptools import setup, find_packages# from pip._internal.req import parse_requirements# from pip._internal.network.session import PipSession# install_reqs = parse_requirements('xxx/requirements_pip.txt', session=PipSessio
2022-03-11 21:17:39
968
原创 python setup.py install安装依赖时更换pip源
直接在setup.py的同目录放置一个setup.cfg：加上[easy_install]index_url = https://mirrors.aliyun.com/pypi/simple/我这里是阿里源，具体是个人情况选择pip源
2022-03-11 21:08:11
2723
1
原创 pandas中的groupby+shift
现在有一个数据我分别对num直接shift以及分组后shifit能看出分组后的shift还是有效果的
2022-03-11 21:04:35
1148
原创 pandas groubpy中排序问题
有一组数据d，能看得出其实time是无序的然后对ID进行分组，能看出分组后的time其实还是保持之前的顺序所以若先对time进行排序再分组，则可实现分组后time有序的效果，避免了分组后在组内排序。当然，排序的时候条件要选中ID与time...
2022-03-11 20:56:17
361
原创 阅读SettingwithCopyWarning分析有感
遇到SettingwithCopyWarning的问题，搜到一篇很棒的文章，记录一些心得体会。Pandas 中 SettingwithCopyWarning 的原理和解决方案原文中一些重点SettingWithCopyWarning 只在你进行 Set 时才会发生，但在进行 Get 操作时，最好也避免使用链式索引。链式操作代码效率较低，而且只要稍后进行赋值，就会导致问题。对多类型对象的索引 Get 操作将始终返回副本。而为了提高效率，索引器对单类型对象的操作几乎总是返回一个视图，需要注意的是，
2022-03-11 18:56:19
420
原创 bypy-用python下载百度云
安装pip install bypy第一次使用第一次使用前现在命令行使用 bypy info 命令，然后会给一个网址让你授权，跟着提示来就行python中下载百度云文件from bypy import ByPybp=ByPy()source_path = ''xxx.xls # 源路径des_path # 下载文件存放路径bp.download(source_path,des_path)文件要放在自己的百度云里才能下载。放置的路径必须是/我的应用数据/bypy/下才能被识别到
2022-03-11 12:41:06
2821
4
原创 pull遇到There is no tracking information for the current branch.
有两种情况：1.在git clone后出现warningwarning: remote HEAD refers to nonexistent ref, unable to checkout.2.在pull或push 时遇到如下的warningThere is no tracking information for the current branch.Please specify which branch you want to merge with.See git-pull(1) for
2022-03-07 17:39:42
180
原创 Web Scraper入门
简介Web Scraper是一款浏览器插件，用在简单的数据爬取上，一定程度上可以代替selenium，减少代码编写。官方文档安装从谷歌商店或火狐商店进行下载。下载完成后重启浏览器，按F12即可打开Web Scraper。界面第一次点开Web Scraper，可点击的是Sitemaps和Create new sitemap，前者是罗列目前你写好的sitemap，后者则是创建或导入sitemap。（sitemap相当于设定好的爬取逻辑）点击Create new sitemap，填入你想爬取的网
2022-03-02 20:08:59
7449
2
原创 自动下载与当前chrome浏览器兼容的chromedriver
chrome时常更新，之后chromedriver要手动下载很麻烦。想用webdriver_manager，但是老报错Current google-chrome version is UNKNOWN，所以只能自己写代码下载了import requestsimport winregimport zipfilefrom selenium import webdriverimport osurl = 'https://registry.npmmirror.com/-/binary/chromedr
2022-02-27 21:09:11
1915
6
原创 Clion 找不到git
最近新安装的Clion找不到上方的git选项，研究一番就找到了，该方法同样适用于Pycharm。解决：点击上方 VCS -> Enable Version Control Integration，选择git
2022-02-27 20:23:31
904
原创 常用python导入名与不同安装方式下的名称汇总
导入时的包名 不同安装方式下的包名 conda下 pip下 torch pytorch sklearn scikit-learn scikit-learn /scikit_learn clickhouse_driver clickhouse-drive...
2022-02-24 11:08:47
1136
原创 jekins 邮件模板
在全局配置中修改即可，具体项目的设置保持默认就行。邮件标题模板设置位置 ：Manage Jekins >Configure System > Extended E-mail Notification > Default Subject$PROJECT_NAME - Build # $BUILD_NUMBER - $BUILD_STATUS!邮件内容模板设置位置 ：Manage Jekins >Configure System > Extended E-mail
2022-02-23 18:52:33
98
原创 Mysql实现检查数据缺失
需求：检查B表中的trade_date列在2010.1.1~2022.1.1的范围内是否有缺失已知：A表中的trade_date可以作为对照标准代码SELECT t1.trade_date, t2.trade_date FROM A t1 LEFT JOIN B t2 ON t1.trade_date = t2.trade_date WHERE t1.trade_date BETWEEN '2010-01-01' AND '2022-01-01' AND t2.trade_d
2022-02-21 12:05:44
619
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人