JMUrjxh数据分析与实践——Pandas初体验

一、了解数据处理对象--Series

Pandas是为了解决数据分析任务而创建的，纳入了大量的库和标准数据模型，提供了高效地操作大型数据集所需的工具。

1、导入Pandas包

对于Pandas包，在Python中常见的导入方法如下：

from pandas import Series,DataFrame

import pandas as pd

2、Pandas中的数据结构

Series: 一维数组，类似于Python中的基本数据结构list，区别是Series只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。就像数据库中的列数据；

DataFrame: 二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器；

Panel：三维的数组，可以理解为DataFrame的容器。

3、了解Series

为了开始使用Pandas，我们必需熟悉它的两个重要的数据结构：Series 和DataFrame。虽然它们不是每一个问题的通用解决方案，但可以提供一个坚实的，易于使用的大多数应用程序的基础。

Series是一个一维的类似的数组对象，包含一个数组的数据（任何NumPy的数据类型）和一个与数组关联的数据标签，被叫做索引 。最简单的Series是由一个数组的数据构成：

In [1]:obj=Series([4,7,-5,3])

In [2]:obj

Out[2]:

0 4

1 7

2 -5

3 3

4、Series&索引

Series的交互式显示的字符串表示形式是索引在左边，值在右边。因为我们没有给数据指定索引，一个包含整数0到N-1这里N是数据的长度）的默认索引被创建。你可以分别的通过它的values和index属性来获取Series的数组表示和索引对象：

In [3]: obj.values

Out[3]:array([4,7,-5,3])

In [4]: obj.index

Out[4]:Int64Index([0,1,2,3])

通常，需要创建一个带有索引来确定每一个数据点的Series。

In[5]:obj2=Series([4,7,-5,3],index=['d','b','a','c'])

In [6]:obj2

Out[6]:

d 4

b 7

a -5

c 3

5、python字典&Series

如果你有一些数据在一个Python字典中，你可以通过传递字典来从这些数据创建一个Series，只传递一个字典的时候，结果Series中的索引将是排序后的字典的键。

In[7]:sdata={'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}

In [8]:obj3=Series(sdata)

In [9]:obj3

Out[9]:

Ohio 35000

Texas 71000

Oregon 16000

Utah 5000

二、了解数据处理对象-DataFrame

DataFrame是一个表格型的数据结构，是以一个或多个二维块存放的数据表格（层次化索引），DataFrame既有行索引还有列索引，它有一组有序的列，每列既可以是不同类型（数值、字符串、布尔型）的数据，或者可以看做由Series组成的字典。

1、DataFrame创建:

dictionary = {'state':['0hio','0hio','0hio','Nevada','Nevada'],

'year':[2000,2001,2002,2001,2002],

'pop':[1.5,1.7,3.6,2.4,2.9]}

frame = DataFrame(dictionary)

2、修改行名：

frame=DataFrame(dictionary,index=['one','two','three','four','five'])

3、添加修改：

frame['add']=[0,0,0,0,0]

4、添加Series类型：

value = Series([1,3,1,4,6,8],index = [0,1,2,3,4,5])

frame['add1'] =value

三、读取CSV格式数据

在使用机器学习工具包对数据进行修改、探索和分析之前，我们必须先讲外部数据导入。使用Pandas导入数据比Numpy要容易。在这里我们将使用英国降雨数据，数据已下好并放在本实训的当前文件夹。

1、读取CSV

# Reading a csv into Pandas.

# 如果数据集中有中文的话，最好在里面加上 encoding = 'gbk' ，以避免乱码问题。后面的导出数据的时候也一样。

df = pd.read_csv('uk_rain_2014.csv',header=0)

这里我们从csv文件里导入了数据，并储存在DataFrame中。这一步非常简单，你只需要调用read_csv然后将文件的路径传进去就行了。header 关键字告诉Pandas哪些是数据的列名。如果没有列名的话就将它设定为 None。

2、查看数据

查看前n行

# Getting first x rows.

df.head(5)

查看后n行

# Getting last x rows.

df.tail(5)

查看总行数

# Finding out how many rows dataset has.

len(df)

3、修改列名

我们通常使用列的名字来在Pandas中查找列。这一点很好而且易于使用，但是有时列名太长，我们需要缩短列名。

#Changing column labels.

df.columns =['water_year','rain_octsep','outflow_octsep','rain_decfeb','rain_junaug','outflow_junaug']

四、数据的基本操作——排序

本关我们将学习处理Series和DataFrame中的数据的基本手段，我们将会探讨Pandas最为重要的一些功能。

1、对索引进行排序

Series用sort_index()按索引排序，sort_values()按值排序；

DataFrame也是用sort_index()和sort_values()。

In[73]: obj = Series(range(4),index=['d','a','b','c'])

In[74]: obj.sort_index()

Out[74]:

a 1

b 2

c 3

d 0

dtype: int64

In[78]: frame =DataFrame(np.arange(8).reshape((2,4)),index=['three','one'],columns=['d','a','b','c'])

In[79]: frame

Out[79]:

d a b c

three 0 1 2 3

one 4 5 6 7

In[86]: frame.sort_index()

Out[86]:

d a b c

one 4 5 6 7

three 0 1 2 3

2、按行排序

In[89]: frame.sort_index(axis=1,ascending=False)

Out[89]:

d c b a

three 0 3 2 1

one 4 7 6 5

3、按值排序

Series:

In[92]: obj = Series([4, 7, -3, 2])

In[94]: obj.sort_values()

Out[94]:

2 -3

3 2

0 4

1 7

dtype: int64

DataFrame:

In[95]: frame = DataFrame({'b':[4, 7, -3,2], 'a':[0, 1, 0, 1]})

In[97]: frame.sort_values(by='b') #DataFrame必须传一个by参数表示要排序的列

Out[97]:

a b

2 0-3

3 1 2

0 0 4

1. 1 7

五、数据的基本操作——删除

1、删除指定轴上的项

即删除Series的元素或DataFrame的某一行（列）的意思，我们可以通过对象的drop(labels, axis=0)方法实现此功能。

2、删除Series的一个元素：

In[11]: ser = Series([4.5,7.2,-5.3,3.6],index=['d','b','a','c'])

In[13]: ser.drop('c')

Out[13]:

d 4.5

b 7.2

a -5.3

dtype: float64

3、删除DataFrame的行或列：

In[17]: df =DataFrame(np.arange(9).reshape(3,3), index=['a','c','d'],columns=['oh','te','ca'])

In[18]: df

Out[18]:

oh te ca

a 0 1 2

c 3 4 5

d 6 7 8

In[19]: df.drop('a')

Out[19]:

oh te ca

c 3 4 5

d 6 7 8

In[20]: df.drop(['oh','te'],axis=1)

Out[20]:

ca

a 2

c 5

d 8

需要注意的是drop()返回的是一个新对象，原对象不会被改变。

六、数据的基本操作——算术运算

1、算术运算（+，-，*，/）

DataFrame中的算术运算是df中对应位置的元素的算术运算，如果没有共同的元素，则用NaN代替。

In[5]: df1 =DataFrame(np.arange(12.).reshape((3,4)),columns=list('abcd'))

In[6]: df2 =DataFrame(np.arange(20.).reshape((4,5)),columns=list('abcde'))

In[9]: df1+df2

Out[9]:

a b c d e

0 0 2 4 6NaN

1 9 11 13 15NaN

2 18 20 22 24NaN

3 NaN NaN NaN NaN NaN

此外，如果我们想设置默认的其他填充值，而非NaN的话，可以传入填充值。

In[11]: df1.add(df2, fill_value=0)

Out[11]:

a b c d e

0 0 2 4 6 4

1 9 11 13 15 9

2 18 20 22 24 14

1. 15 16 17 18 19

七、数据的基本操作——去重

1、duplicated()表示各行是否是重复行

DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行。具体用法如下：

In[1]: df = DataFrame({'k1':['one']*3 +['two']*4, 'k2':[1,1,2,3,3,4,4]})

In[2]: df

Out[2]:

k1 k2

0 one 1

1 one 1

2 one 2

3 two 3

4 two 3

5 two 4

6 two 4

In[3]: df.duplicated()

Out[3]:

0 False

1 True

2 False

3 False

4 True

5 False

6 True

dtype: bool

2、drop_duplicates()去除重复的行数

drop_duplicates()用于去除重复的行数，具体用法如下：

In[4]: df.drop_duplicates()

Out[4]:

k1 k2

0 one 1

2 one 2

3 two 3

5 two 4

第8关：层次化索引

1、层次化索引

层次化索引(hierarchical indexing)是pandas的一项重要功能，它使我们能在一个轴上拥有多个（两个以上）索引级别。请看以下例子：

In[1]:data = Series(np.random.randn(10),index = [['a', 'a', 'a', 'b', 'b', 'b', 'c', 'c', 'd', 'd'],[1,2,3,1,2,3,1,2,2,3]])

In[2]:data

Out[2]:

a 1 0.169239

2 0.689271

3 0.879309

b 1 -0.699176

2 0.260446

3 -0.321751

c 1 0.893105

2 0.757505

d 2 -1.223344

3 -0.802812

dtype: float64

2、索引方式

In[3]:data['b':'d']

Out[3]:

b 1 -0.699176

2 0.260446

3 -0.321751

c 1 0.893105

2 0.757505

d 2 -1.223344

3 -0.802812

dtype: float64

3、内层选取

In[4]:data[:, 2]

Out[4]:

a 0.689271

b 0.260446

c 0.757505

d -1.223344

dtype: float64

4、数据重塑

将Series转化成DataFrame:

in[5]:data.unstack()

Out[5]:

1 2 3

a 0.169239 0.689271 0.879309

b -0.699176 0.260446 -0.321751

c 0.893105 0.757505 NaN

d NaN -1.223344 -0.802812