Pandas基础

前言

最近数学建模的比赛需要用上Python，这里的Python速成笔记仅作为学习所用，欢迎大家在评论区多多讨论

---

pandas 是基于 Numpy 构建的，让以 Numpy 为中心的应用变得更加简单。pandas是公认的数据处理利器，本章内容主要介绍DataFrame数据结构，在此基础上进行数据处理。除了DataFrame格式，pandas 还包括Series、Panel格式。

格式	数组	释义
Series	一维数组	与Numpy中的一维array类似
DataFrame	二维的表格型数据结构	可以将DataFrame理解为Series的容器
Panel	三维的数组	可以理解为DataFrame的容器

开始之前，我们首先掌握导入pandas库，方式如下：

import pandas as pd

注意：以下内容必须在导入pandas库之后才能运行

一、Series和DataFrame介绍

1.Series

由一组数据和与之相关的索引组成。可通过传递一个list对象来创建一个Series，pandas会默认创建整型索引。

创建一个Series：

s = pd.Series([1,3,5,7,6,8])
print(s)

输出：

0    1
1    3
2    5
3    7
4    6
5    8
dtype: int64

获取 Series 的索引:

s.index

输出：

RangeIndex(start=0, stop=6, step=1)

2.DataFrame

DataFrame是一个表格型的数据结构，它含有一组有序的列，每一列的数据结构都是相同的，而不同的列之间则可以是不同的数据结构。DataFrame中的每一行是一个记录，名称为Index的一个元素，而每一列则为一个字段，是这个记录的一个属性，DataFrame既有行索引也有列索引。（DataFrame类似于MySQL数据库里的表）
创建DataFrame
首先来看如何从字典创建DataFrame

d = {'one': [1, 2, 3], 'two': [1, 2, 3]}
df = pd.DataFrame(d,index=['a', 'b', 'c'])
print(df)

输出：

 	one  two
a    1    1
b    2    2
c    3    3

可以使用dataframe.index和dataframe.columns来查看DataFrame的行和列，dataframe.values则以数组的形式返回DataFrame的元素：

print(df.index) #查看行
print(df.columns) #查看列
print(df.values) #查看元素

输出：

Index(['a', 'b', 'c'], dtype='object')
Index(['one', 'two'], dtype='object')
[[1 1]
 [2 2]
 [3 3]]

DataFrame从值是数组的字典创建时，其各个数组的长度需要相同，加强印象，可参考以下报错的例子。

d = {'one': [1, 2], 'two': [1, 2, 3]}
df = pd.DataFrame(d,index=['a', 'b', 'c'])
print(df)

报错：

elif isinstance(data, ma.MaskedArray):
    277             import numpy.ma.mrecords as mrecords

/opt/conda/lib/python3.5/site-packages/pandas/core/frame.py in _init_dict(self, data, index, columns, dtype)
    409             arrays = [data[k] for k in keys]
    410 
--> 411         return _arrays_to_mgr(arrays, data_names, index, columns, dtype=dtype)
    412 
    413     def _init_ndarray(self, values, index, columns, dtype=None, copy=False):

/opt/conda/lib/python3.5/site-packages/pandas/core/frame.py in _arrays_to_mgr(arrays, arr_names, index, columns, dtype)
   5602     axes = [_ensure_index(columns), _ensure_index(index)]
   5603 
-> 5604     return create_block_manager_from_arrays(arrays, arr_names, axes)
   5605 
   5606 

/opt/conda/lib/python3.5/site-packages/pandas/core/internals.py in create_block_manager_from_arrays(arrays, names, axes)
   4312         return mgr
   4313     except ValueError as e:
-> 4314         construction_error(len(arrays), arrays[0].shape, axes, e)
   4315 
   4316 

/opt/conda/lib/python3.5/site-packages/pandas/core/internals.py in construction_error(tot_items, block_shape, axes, e)
   4278         raise ValueError("Empty data passed with indices specified.")
   4279     raise ValueError("Shape of passed values is {0}, indices imply {1}".format(
-> 4280         passed, implied))
   4281 
   4282 

ValueError: Shape of passed values is (2, 2), indices imply (2, 3)

如果DataFrame的值是非数组时，没有这一限制，且自动将缺失值补成NaN。如下示例

d= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6, 'c': 9}]
df = pd.DataFrame(d)
print(df)

输出：

 	a   b   c
0  1.6  2  NaN
1  3.0  6  9.0

在实际处理数据时，有时需要创建一个空的DataFrame，可以这么做：

df = pd.DataFrame()
print(df)

输出：

Empty DataFrame
Columns: []
Index: []

另一种创建DataFrame的方法十分有用，那就是使用concat函数创建DataFrame，其主要是通过两个行或列相同的DataFrame链接成一个。

a= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6}]
df1 = pd.DataFrame(a)
b= [{'a': 4, 'b': 5}]
df2 = pd.DataFrame(b)
df = pd.concat([df1, df2], axis=0)
print(df1)
print(df2)
print(df)

输出：

    a   b
0  1.6  2
1  3.0  6
   a  b
0  4  5
     a  b
0  1.6  2
1  3.0  6
0  4.0  5

注意：concat函数内有axis参数，其中的axis=1表示按列进行合并，axis=0表示按行合并