![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
Pianist Of Keyboard
这个作者很懒,什么都没留下…
展开
-
critical libmamba Invalid spec, no package name found:
但是在conda中,原本的req.txt也是可以使用的,只能说mamba和conda在细微处还是不能互换。最后发现是因为(micro)mamba不支持在文件中有空行,把req.txt中的空行删掉即可。使用micromamba从文件中安装指定版本依赖包,执行命令。req.txt修改后内容。req.txt的内容。原创 2023-02-27 11:23:39 · 428 阅读 · 0 评论 -
AttributeError: ‘OptionEngine‘ object has no attribute ‘execute‘
在这篇文章中看到,sqlalchemy的1.4和2.0两种不同的语法,pandas暂时还不支持2.0,所以将sqlalchemy回退到1.4.45即可。原创 2023-02-27 11:23:45 · 6304 阅读 · 3 评论 -
Timestamp中的astimezone与tz_localize、astimezone的区别
astimezone和tz_convert还有更细致的区别, 等在实践中深入了解吧。原创 2022-11-15 15:04:08 · 129 阅读 · 0 评论 -
Timestamp中的astimezone与tz_localize、astimezone的区别
astimezone和tz_convert还有更细致的区别, 等在实践中深入了解吧。原创 2022-10-20 12:20:00 · 167 阅读 · 0 评论 -
解决Failed to determine matplotlib’s data directory!
解决Failed to determine matplotlib’s data directory!原创 2022-08-13 21:44:36 · 1180 阅读 · 2 评论 -
itertools.groupby与pandas.groupby的异同
最近遇到一个bug,发现是由于itertools.groupby的用法与想象中不一样导致的...原创 2022-06-22 14:23:35 · 361 阅读 · 0 评论 -
解决airflow中conda环境激活问题
背景使用Airflow官方镜像+miniconda搭建任务调度环境,之前使用的是airflow-python3.8的镜像,用root在miniconda中安装了一个python3.8的环境,任务调度时没有激活环境,直接用虚拟环境中的python路径执行python脚本的。一直那么用着,一年多了都没啥问题。但是最近把重新建了一个3.9的虚拟环境就炸了。报错是找不到psutil包,但其实我已经在虚拟环境中安装了,不过是用pip装的。我的依赖分两个途径安装,一个是conda install,一个是pip i原创 2022-05-09 15:59:36 · 412 阅读 · 0 评论 -
python环境打包exe太大?你需要python嵌入式
引用 https://zhuanlan.zhihu.com/p/77028265背景我最近需要打包一个项目给客户,但是用exe的话太大了,不够“优雅”,于是想起了这篇帖子,打算整理一下流程。下载与其说是打包,不如说是从0开始构建一个环境。首先需要下载python嵌入式包,按照自己电脑的配置来选择,我的是windows平台64位。下载链接解压到一个文件夹下,例如我的是python-3.9.12-embed-amd64文件夹。配置&下载pip没有pip怎么安装其他包对不.原创 2022-04-21 11:34:37 · 2683 阅读 · 5 评论 -
jekins中anaconda python环境的切换
背景最近需要在jekins上做一个sphinx的文档自动化。其中make html需要当前python环境支持需要文档自动化的项目。问题1jekins中的execute shell中默认的是python环境/usr/bin/python。这个公共的环境并不具有我需要的包,因此需要切换成我自己的conda环境。众所周知,激活conda环境需要 source activate 环境名。但是我在执行的遇到了报错称我的环境找不到source。source怎么可能没有呢???查询了资料后才知道,原来是终原创 2022-04-19 11:54:09 · 1668 阅读 · 0 评论 -
用python定时给女友发天气预报并给自己弹窗
思路注册天气数据接口接口调用方式在文档中可以查看。有两种验证方式,我们现在选择简单的一种:仅用私钥认证使用cn2an包将周期几翻译成中文数字弹窗用plyer包使用smtplib发邮件,具体做法可以参考之前的文章 python发邮件极简版关于定时功能,linux的话可以用crontab,window的话可以用系统自带的任务计划程序注册天气接口首先,访问 心知天气,进行登录或者注册操作,然后在控制台上创建一个免费版的项目,创建后,项目信息为:重点是这个私钥,后面会用到代码# co原创 2022-03-18 16:16:17 · 2369 阅读 · 0 评论 -
python 发邮件极简版
import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerdef send_email(subject, email_content, toaddr='xxx@qq.com'): """ 发送邮件 Parameters ---------- subject: 邮件标题 email_content: 邮件内容 toaddr: 收件人邮箱,有..原创 2022-03-18 13:42:56 · 876 阅读 · 0 评论 -
python setup.py install安装依赖时更换pip源
直接在setup.py的同目录放置一个setup.cfg:加上[easy_install]index_url = https://mirrors.aliyun.com/pypi/simple/我这里是阿里源,具体是个人情况选择pip源原创 2022-03-11 21:08:11 · 2750 阅读 · 1 评论 -
bypy-用python下载百度云
安装pip install bypy第一次使用第一次使用前现在命令行使用 bypy info 命令,然后会给一个网址让你授权,跟着提示来就行python中下载百度云文件from bypy import ByPybp=ByPy()source_path = ''xxx.xls # 源路径des_path # 下载文件存放路径bp.download(source_path,des_path)文件要放在自己的百度云里才能下载。放置的路径必须是/我的应用数据/bypy/下才能被识别到原创 2022-03-11 12:41:06 · 2833 阅读 · 4 评论 -
自动下载与当前chrome浏览器兼容的chromedriver
chrome时常更新,之后chromedriver要手动下载很麻烦。想用webdriver_manager,但是老报错Current google-chrome version is UNKNOWN,所以只能自己写代码下载了import requestsimport winregimport zipfilefrom selenium import webdriverimport osurl = 'https://registry.npmmirror.com/-/binary/chromedr原创 2022-02-27 21:09:11 · 1915 阅读 · 6 评论 -
常用python导入名与不同安装方式下的名称汇总
导入时的包名 不同安装方式下的包名 conda下 pip下 torch pytorch sklearn scikit-learn scikit-learn /scikit_learn clickhouse_driver clickhouse-drive...原创 2022-02-24 11:08:47 · 1136 阅读 · 0 评论 -
jupyter里面添加虚拟环境,只需两步
1.安装 jupyter kernelpip install ipykernel2.链接虚拟环境到jupyter kernelpython -m ipykernel install --user --name [conda中环境名]最后重新进入jupyter就会看到新的环境选项啦PS:如果没创建虚拟环境,可以看看我之前关于1.conda的文章https://blog.csdn.net/qq_28668779/article/details/1229502492.virtualenv的文章原创 2022-02-15 18:31:34 · 2488 阅读 · 0 评论 -
使用conda创建miniconda虚拟环境
1.安装conda,选择自己需要的版本可以在https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/查看需要的版本的miniconda#下载curl https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_4.9.2-Linux-x86_64.sh --connect-timeout 1000 --output /miniconda.sh#安装bash原创 2022-02-15 18:29:58 · 1588 阅读 · 0 评论 -
使用virtualenv创建虚拟环境
参考https://blog.csdn.net/qq_41610436/article/details/950334341.安装virtualenvpip install virtualenv2.建环境virtualenv [新环境名]3.进入虚拟环境source [新环境名]/bin/activate4.退出虚拟环境deactivate原创 2022-02-15 18:16:07 · 896 阅读 · 0 评论 -
datacompy 遇到的问题
最近用datacompy来对比数据,好用是好用,但是总是有莫名的log error,如下:[2022-01-13, 18:05:05 CST] {subprocess.py:89} INFO - --- Logging error ---[2022-01-13, 18:05:05 CST] {subprocess.py:89} INFO - Traceback (most recent call last):[2022-01-13, 18:05:05 CST] {subprocess.py:89}原创 2022-01-13 19:40:41 · 491 阅读 · 0 评论 -
记录airflow从2.2.0升级到2.2.3遇到的一点小问题
配置:Ubuntu 18.04.5 LTS (GNU/Linux 4.15.0-163-generic x86_64)Docker version 20.10.7docker-compose version 1.29.2镜像:apache/airflow:2.2.0-python3.8背景众所周知,airflow的webserver的时间一直有点问题,尤其是日志的时间,总是多八小时(因为它把东八区的时间识别为utc时间,然后为了显示“东八区”时间,所以又多加了八小时),听说这个问题在2.2.3解原创 2021-12-28 16:05:41 · 1253 阅读 · 0 评论 -
airflow docker-compose中的一点小问题
我之前是从LocalExecutor换成了CeleryExecutor,用的是官方的demo docker-compose文件,在此基础上进行的修改。docker-compose文件的代码如下---version: '3.8'x-airflow-common: &airflow-common image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.2.0-python3.8} environment: &airflow-comm原创 2021-12-28 15:50:25 · 2040 阅读 · 0 评论 -
python中一些容易被忽略的内置算法
内容引用自《Effective Python》1.双向队列collections模块中的deque类,是一种双端队列。插入或删除头尾的数据只需要常数级别的时间2.有序字典collections模块中华的OrderedDict类。它能根据插入顺序保留在字典中的顺序。PS:Python3的某个版本中,默认的dict已经支持有序3.带有默认值的字典collections模块中的defaultdict可以实现。PS:Python3中的dict可以通过get、setdefault方法实现默认值4.原创 2021-10-22 18:19:24 · 84 阅读 · 0 评论 -
libbrotlienc.so.1: cannot open shared object file: No such file or directory
问题我在导入pyarrow的时候遇到这个报错:ImportError:libbrotlienc.so.1: cannot open shared object file: No such file or directory摸索1.刚才我因为numba版本过低,从0.53到0.54升级了numba,结果它给我安装和删除了很多包,我估计其中就有涉及到pyarrow的。于是科学上网,看到有个大神说You have installed pyarrow=0.14.1 while arrow-cpp=0原创 2021-09-27 16:16:50 · 707 阅读 · 0 评论 -
【转】pycharm修改文件头注释以及函数注释模板
1.修改函数注释模板引用自 https://www.cnblogs.com/wangshuyi/p/13718183.html在pycharm窗口中,依次选择:File→Setting→Tools→Python Integrated Tools→Docstrings→Docstring format: 在下拉菜单中选择“reStrturedText” 或是其他你喜欢的格式。2.自动添加文件头注释引用自 https://zhuanlan.zhihu.com/p/329967393在pycha原创 2021-08-05 11:41:31 · 821 阅读 · 0 评论 -
pandas中时间戳的处理
我的理解:狭义的时间戳是1970-01-01至今的纳秒数,本身其实是个int对象。广义的时间戳是python中的datetime对象,自带时区信息,不指定时区时,默认是UTC时区。处理时间戳的时候,时间字符串、datetime对象、int时间戳,这三者之间转换的方向非常的重要,我个人比较容易混淆。例如import pandas as pdtime_string='2021-07-13 00:00:00'time_datetime = pd.to_datetime(time_string)#原创 2021-07-29 14:22:47 · 2351 阅读 · 0 评论 -
pandas:float divided by zero
其实这个问题不止遇到一次了,但有时候同样分母为0,结果却直接为nan。对于这两者之间的关系目前我不太清楚。之前遇到该问题都是靠这两行代码莽过去with np.errstate(divide='ignore', invalid='ignore'): for i in onlist: a = np.array() b = np.array() # 个人感觉重点是下面这...原创 2020-03-27 17:19:23 · 1625 阅读 · 1 评论 -
pandas:数据列的压缩与扩展
标题有点太抽象了,其实是因为我最近遇上两个需求原创 2020-03-24 18:13:26 · 929 阅读 · 0 评论 -
zipfile:一点细节问题
最近处理的数据量有点大,因为需要压缩的操作。平时都是使用shell命令,今天想试试zipfile,果不其然,我又掉坑里了-_-|||一、zipfile实现压缩文件老规矩先亮结果date = '20200319'with zipfile.ZipFile("根目录/"+date+".zip", 'w', zipfile.ZIP_DEFLATED) as f: f.wri...原创 2020-03-19 17:17:24 · 363 阅读 · 2 评论 -
pandas:关于时间筛选的一点坑
最近遇上两个需求:1.通过仅有时分秒的数据项筛选时间(datatime)2.计算两个仅有时分秒的数据项之间的时间差的总秒数经过:起初我以为原创 2020-03-19 12:19:10 · 843 阅读 · 0 评论 -
python3中字符串前缀加r/u/b的区别
文章目录1、加 u2、加 r3、加 b最近从redis中取出的数据有b前缀,故此特地整理一番常见的前缀,以供回顾1、加 u因为python3中,解释器默认编码就是Unicode,因此不需要加u,此条仅适用于python2\color{red}{仅适用于python2}仅适用于python2意为字符串中数据使用unicode编码。防止因为源码储存格式问题,导致再次使用时出现乱码pytho...原创 2020-03-11 19:29:20 · 352 阅读 · 0 评论