![](https://img-blog.csdnimg.cn/20191125145219409.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
pandas
飞翔的烤鸡翅
不吃肉不开心不睡觉不开心的立志成为海贼王的普通文艺的二笔青年。
展开
-
[pandas学习笔记] - 不同数据类型筛选方式的性能比较
背景现有一个数据量很大的dataframe(本文中的示例数据为100万行,9列)需要做一些筛选操作。考虑到数据量特别大,不同的方法在性能方面会造成巨大的差异。此次的数据比较特殊,有一个TradingDay字段,标准格式应该是nchar(8),也可以当做8位的数值使用。筛选差异也由他们的数据类型产生。测试方案筛选数据由两部分组成,筛选条件与取值方法。本文使用到的筛选条件有两种:字符串比较数值比较取值方法有三种:loc取值索引取值['column_name']属性取值.column_n原创 2022-02-11 16:15:31 · 618 阅读 · 0 评论 -
[pandas学习笔记] - 将DataFrame指定两列转成字典
key: pandas, DataFrame, dict, Seriesdf = pd.DataFrame({"a":[1,1,1,2,2,2,2,3], "b": ["q","q","q","q","q","q","q","w"], "c":[0,0,0,0,0,0,0,0], "d": [1,1,1,1,1,1,1,1]})# output a b c d0 1 q 0 11 1 q 0 12 1 q 0 13 2 q 0 14 2 q原创 2020-10-30 10:48:33 · 11917 阅读 · 3 评论 -
[pandas学习笔记] - 不同列数据处理方式的性能差异
这里参考了他的测试案例《还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法》https://www.jianshu.com/p/ef690275390c案例:按小时分割十年的数据。制作成dataframe。将一天24小时平均分成三份,0-7,8-15,16-23,打上对应的tag。# -*- coding: utf-8 -*-"""Created on Tue Feb 4...原创 2020-02-04 16:51:45 · 201 阅读 · 0 评论 -
[pandas学习笔记] - json的读写转换
dataframe与json的相互转换df -> json# 根据需求调整参数orient。中文数据时,需要把force_ascii设置为falsestr1 = df.to_json(orient='records', force_asscii=False)# 这里得到的是json字符串,里面有很多转义字符。如果想要规范的json类型,需要继续操作str2 = json.lo...原创 2019-05-14 11:05:59 · 1161 阅读 · 0 评论