读者只需浏览一下本文的目录结构,我相信就已经掌握了1到2成的 pandas 知识。
本文的目的是建立一个大概的知识结构
在数据挖掘python阅读源码时,断断续续查阅了些 pandas 资料,并在源码中大致感受到了 pandas 在数据清理方面的方便性。
先将自己查阅的资料结合实际应用中常用到的方式,以学习笔记的形式整理出来。不会涉及到 pandas 的所有方面,细节知识还需自行查阅官方文档。
数据结构
- Series: 一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近,其区别是:List中的元素可以是不同的数据类型,而Array和Series中则只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。
- DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。
- Panel: 三维数组,可以理解为DataFrame的容器。
数据操作
一般操作
head和tail方法可以显示DataFrame前N条和后N条记录,N为对应的参数,默认值为5。
index(行)和columns(列)属性,可以获得DataFrame的行和列的标签。这也是了解数据内容和含义的重要步骤。
decribe方法可以计算各个列的基本描述统计值。包含计数,平均数,标准差,最大值,最小值及4分位