![](https://img-blog.csdnimg.cn/20191112100631384.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
文章平均质量分 59
飞翔的烤鸡翅
不吃肉不开心不睡觉不开心的立志成为海贼王的普通文艺的二笔青年。
展开
-
[python学习笔记] - 基于webapi对dataframe进行传输的方案
使用webapi传输pandas.DataFrame数据原创 2024-05-14 19:24:05 · 250 阅读 · 0 评论 -
[python学习笔记] - python下csv,feather,parquet,jay,pickle的读写性能及空间占用测试
python下csv,feather,parquet,jay的读写性能及空间占用测试原创 2023-03-08 15:17:21 · 567 阅读 · 1 评论 -
[pandas学习笔记] - 不同数据类型筛选方式的性能比较
背景现有一个数据量很大的dataframe(本文中的示例数据为100万行,9列)需要做一些筛选操作。考虑到数据量特别大,不同的方法在性能方面会造成巨大的差异。此次的数据比较特殊,有一个TradingDay字段,标准格式应该是nchar(8),也可以当做8位的数值使用。筛选差异也由他们的数据类型产生。测试方案筛选数据由两部分组成,筛选条件与取值方法。本文使用到的筛选条件有两种:字符串比较数值比较取值方法有三种:loc取值索引取值['column_name']属性取值.column_n原创 2022-02-11 16:15:31 · 617 阅读 · 0 评论 -
[python学习笔记] - 使用pandas与Excel读写包取Excel单元格数据性能分析
背景有工作需要解析Excel文件数据,需要取Excel文件中一些指定单元格(指定行列)的数据内容。因为Excel文件目前区分为xls与xlsx。全能读写包xlwings虽然能兼顾两种格式,功能齐全,但是太重,操作比较慢,而且必须主动调用关掉Excel文件调用,否则将一直挂在后台。考虑到更轻便的使用,所以分别使用了xlrd读xls,使用openpyxl读xlsx。但是维护两份代码不太方便,考虑到pandas可以直接读excel两种格式(底层同样是调用对应的包,只是上层做了统一封装),感觉可以更方便些。但是原创 2021-12-14 10:43:28 · 1354 阅读 · 0 评论 -
[python学习笔记] - 用pyinstaller打包成功后exe执行错误
背景最近写了个查看硬件信息的脚本,用到wmi。执行pyinstaller -F xxx.py成功后,生成了exe。但是运行exe失败。错误如下:错误中提到的包pythoncom我是装好的,怎么都想不明白是为什么。然后搜到了这篇文章《python3.8+pyinstaller调试正常,打包后运行失败(Module‘puwintypes’isn’t in frozen sys.path)》以为找到了救星,结果按他的办法,在py代码里加入import pythoncom,还是报错。最终我搜到了这篇文章原创 2021-08-05 19:21:59 · 4650 阅读 · 14 评论 -
[python] - 环境变量及依赖包安装路径设置
文章目录场景操作1 安装python环境2 设置默认目录3 安装spyder4 安装jupyter-notebook5 配置jupyter notebook生成配置文件修改配置文件场景工作中经常会用到python,做一些运维,数据处理操作。起初刚入门的时候数据处理偏多,大家都无脑吹anaconda大集合,一键安装省时省力。用了一阵后,感觉anaconda的版本更新,管理有些繁琐,很多其实我都用不到。而且这个大集合集成了太多我用不上的包,有点不喜欢。所以卸载了anaconda,安装基础版的python,并原创 2021-07-14 10:46:33 · 2749 阅读 · 0 评论 -
[pandas学习笔记] - 替换DataFrame列指定字段
key: pandas, DataFrame, dict, SeriesDataFrame数据处理。希望将DataFrame将指定列的数据,根据指定字典,替换为对应字段。由于需求不同,一般有两种情况:不在映射规则中(字典),处理为NaN。不在映射规则中(字典),保留原值。待处理数据import pandas as pddf = pd.DataFrame({'Date':['10/2/2011', '11/2/2011', '12/2/2011', '13/2/2011'],原创 2021-06-08 16:40:16 · 1218 阅读 · 0 评论 -
[pandas学习笔记] - 将DataFrame指定两列转成字典
key: pandas, DataFrame, dict, Seriesdf = pd.DataFrame({"a":[1,1,1,2,2,2,2,3], "b": ["q","q","q","q","q","q","q","w"], "c":[0,0,0,0,0,0,0,0], "d": [1,1,1,1,1,1,1,1]})# output a b c d0 1 q 0 11 1 q 0 12 1 q 0 13 2 q 0 14 2 q原创 2020-10-30 10:48:33 · 11831 阅读 · 3 评论 -
[python学习笔记] - Pandas的SettingwithCopy分析
警告信息当我尝试修改dataframe或者对其赋值时,出现了警告信息:A value is trying to be set on a copy of a slice from a DataFrame.Try using .loc[row_indexer,col_indexer] = value insteadSee the caveats in the documentation: https://pandas.pydata.org/pandasdocs/stable/user_guide/in原创 2020-07-10 13:45:17 · 661 阅读 · 0 评论 -
[部署] - python安装及环境配置
windows环境anacondaanaconda是python的一个开发集成环境,里面集成了很多常用的包,安装即用,十分方便,唯一的缺点就是体积太大。下载minicondaminiconda是anaconda的精简版,去掉了一部分包,体积缩小。下载python原生的python环境,都是基础包,按需安装package。下载pip一般来说,上面的环境安装好后,都集成了pip,版本可能不是最新的,但也能用。也可以直接用pip install -U pip命令升级。也可下载安装文件。下原创 2020-07-03 10:49:01 · 1030 阅读 · 1 评论 -
python读取SQL server中文乱码处理
场景开发机win10,记E1。服务器server 2012,记E2。一个python数据处理脚本,功能是一些数据存储操作。使用了pandas、sqlalchemy做数据库连接。在E1上正常运行,结果正确。部署到E2上后也能正常运行,但是出现中文乱码。乱码出现在,从同一个sql server中读取的中文数据里。一开始以为是数据库连接代码缺了强制编码类型,于是尝试了?charset=ut...原创 2020-03-25 11:29:04 · 4121 阅读 · 0 评论 -
[python学习笔记] - multiprocessing模块执行带装饰器的方法报错及解决方式
keyword:multiprocessing decorator pickle参考https://segmentfault.com/q/1010000008907475?utm_source=tag-newesthttp://ralph-wang.github.io/blog/2015/02/15/zhuang-shi-qi-yu-duo-jin-cheng-yi-ji-pickle/...原创 2020-02-11 18:19:06 · 817 阅读 · 0 评论 -
[pandas学习笔记] - 不同列数据处理方式的性能差异
这里参考了他的测试案例《还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法》https://www.jianshu.com/p/ef690275390c案例:按小时分割十年的数据。制作成dataframe。将一天24小时平均分成三份,0-7,8-15,16-23,打上对应的tag。# -*- coding: utf-8 -*-"""Created on Tue Feb 4...原创 2020-02-04 16:51:45 · 199 阅读 · 0 评论 -
[Python学习笔记] - 制作第三方包Package
前言https://www.jianshu.com/p/19f1e564a29dhttps://www.jianshu.com/p/00abb504e137目录结构setup安装/发布PyPiwhl原创 2019-12-23 18:21:02 · 675 阅读 · 0 评论 -
[pandas学习笔记] - json的读写转换
dataframe与json的相互转换df -> json# 根据需求调整参数orient。中文数据时,需要把force_ascii设置为falsestr1 = df.to_json(orient='records', force_asscii=False)# 这里得到的是json字符串,里面有很多转义字符。如果想要规范的json类型,需要继续操作str2 = json.lo...原创 2019-05-14 11:05:59 · 1153 阅读 · 0 评论 -
[Python学习笔记] - 大杂烩
说明基于Python3的语法体系。* 与 **作为实参,函数调用时。*表示将参数以list形式传入。如fn(*args),args=[1,2,3],等价于fn(1,2,3)**表示将参数以字典形式传入。如fn(**args),args={‘a’: 1, ‘b’: 2, ‘c’: 3},等价于fn(a=1, b=2, c=3)作为行参,函数定义时。*表示将传入的参数按list存储...原创 2018-10-19 16:08:30 · 345 阅读 · 0 评论