数据分析 - pandas(1)

前言

之前我们所学到的numpy已经可以做到帮助我们处理数据，能够结合matplotlib解决我们数据分析的问题，那么pandas学习的目的在什么地方呢？

numpy能够帮我们处理数值型数据，但是这还不够

很多时候，我们的数据除了数值之外，还有字符串，还有时间序列等

例如：我们通过爬虫获取到了存储在数据库中的数据
例如：数据中心包含有类似于国家的信息，视频的分类(tag)信息，标题信息等

numpy能够帮助我们处理数值，但是pandas除了处理数值之外(基于numpy)，还能够帮助我们处理其他类型的数据
 

pandas的常用数据类型

 

表示方法	维度	特点
Series	一维	带标签数组
DataFrame	二维	Series容器

创建Series一维数组

pandas之Series创建

代码示范(其实很简单)：

#导入模块
In [1]: import pandas as pd

#创建一维数组
In [2]: t= pd.Series([1,2,3,4,5,6])

#查看数组 t 的类型
In [3]: type(t)
Out[3]: pandas.core.series.Series

#查看数据类型
In [4]: t.dtype
Out[4]: dtype('int64')

#查看数组 t 的内容
In [5]: t
Out[5]:
0    1
1    2
2    3
3    4
4    5
5    6
dtype: int64

可以看到，创建一维带标签的数组非常简单，并且，细心的看官肯定也发现了，我们通过Series创建对的数组 t 和之前numpy创建的还是有很大的区别的

左侧的的索引就是Series一维数组的标签，我们可以对其进行一系列的操作

当然，通过画图分析，我们知道了数组 t 中的 index 就是我们所说的 标签，那么，我们就有另外一种创建Series的方法了，通过字典创建一个Series，注意其中的索引就是字典的键

通过字典创建Series

#创建字典
In [6]: d = {"1":"一","2":"二","3":"三"}

#查看字典 d
In [7]: d
Out[7]: {'1': '一', '2': '二', '3': '三'}

#创建Series
In [8]: t = pd.Series(d)

#查看数组 t
In [9]: t
Out[9]:
1    一
2    二
3    三
dtype: object

#字典推导式创建字典 a
In [14]: a={string.ascii_uppercase[i]:i for i in range(10)}

#查看字典 a
In [15]: a
Out[15]:
{'A': 0,
 'B': 1,
 'C': 2,
 'D': 3,
 'E': 4,
 'F': 5,
 'G': 6,
 'H': 7,
 'I': 8,
 'J': 9}
 
 #创建Series  其中的索引就是字典的键
In [16]: t = pd.Series(a)

#查看数组 t
In [17]: t
Out[17]:
A    0
B    1
C    2
D    3
E    4
F    5
G    6
H    7
I    8
J    9
dtype: int64

指定其他索引

根据上面的代码，我们创建了索引为ABCDEFGHIJ的一维Series数组123456789
那么，现在我们重新给其指定其他的索引，例如：

#指定新的索引范围
In [7]: pd.Series(a,index=list(string.ascii_uppercase[5:15]))

#得到结果
Out[7]:
F    5.0
G    6.0
H    7.0
I    8.0
J    9.0
K    NaN
L    NaN
M    NaN
N    NaN
O    NaN
dtype: float

通过上面的代码，不难发现，他是和我们之前的代码有关联关系的，也就是说，当我们给其指定新的索引时，倘若原先的索引值和现在指定的对的上，就取其值，如果对应不上K、L、M、N、O就为NaN

数据类型转换

还有一点值得我们注意的是：数据类型发生了变化

从之前的 int64 转换为了 float

这是因为 numpy 中的 nan 为 float，pandas会自动根据数据类更改 Series 的 dtype
类型

Series切片和索引

切片

因 Series为一维带标签的数组，因此切片和索引只涉及到行

切片：直接传入start end 或者步长即可

现进行代码演示：

In [8]: t
Out[8]:
A    0
B    1
C    2
D    3
E    4
F    5
G    6
H    7
I    8
J    9
dtype: int64

拿到数组

#直接输入索引值
In [9]: t[0]
Out[9]: 0

#切索引 1 到索引 10 步长为 2
In [10]: t[1:10:2]
Out[10]:
B    1
D    3
F    5
H    7
J    9
dtype: int64

#指定具体不连续的行的索引值，进行切片
In [11]: t[[2,3,6]]
Out[11]:
C    2
D    3
G    6
dtype: int64

#做判断，t 数组中 大于 4 的
In [12]: t[t > 4]
Out[12]:
F    5
G    6
H    7
I    8
J    9
dtype: int64

#做判断，t 数组中 小于 4 的
In [13]: t[t < 4]
Out[13]:
A    0
B    1
C    2
D    3
dtype: int64

索引

索引：一个的时候直接传入序号或者index，多个的时候传入序号或者index的列表

#直接传入索引
In [32]: t["A"]
Out[32]: 0

In [33]: t["B"]
Out[33]: 1

In [34]: t["C"]
Out[34]: 2

注意：当传入的多个键索引值中，有不存在的索引值时会返回警告提示，并且将不存在的键的值默认设置为 NaN

In [41]: t[["A","B","C","a","b","c"]]
FutureWarning:
Passing list-likes to .loc or [] with any missing label will raise
KeyError in the future, you can use .reindex() as an alternative.

See the documentation here:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#deprecate-loc-reindex-listlike
  return self.loc[key]
Out[41]:
A    0.0
B    1.0
C    2.0
a    NaN
b    NaN
c    NaN
dtype: float64

但是，如果你输入的索引值中均是不存在的，那么就会报错

In [43]: t[["a","b","c"]]
.
.
.
KeyError: "None of [['a', 'b', 'c']] are in the [index]"

那么，我们要如何在拿到一个Series的一维数组之后，查看他的索引和具体的值呢？

Series的索引和值

查看索引

index

In [44]: t.index
Out[44]: Index(['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'], dtype='object')

查看类型

In [46]: type(t.index)
Out[46]: pandas.core.indexes.base.Index

查看值

In [45]: t.values
Out[45]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], dtype=int64)

查看类型

In [47]: type(t.values)
Out[47]: numpy.ndarray

扩展

Series对象本质上是由两个数组组成

一个数组构成对象的键(index,索引)，一个数组构成兑现改的值(values),键 --》值

numpy的很多方法都可以运用于Series类型，比如argmax，clip等

Series具有where方法，但是结果和ndarray不同

In [50]: t.where(t > 1,10)
Out[50]:
A    10
B    10
C     2
D     3
E     4
F     5
G     6
H     7
I     8
J     9
dtype: int64

观察代码，可以发现，pandas 的 where 语法是将 False 的设置为后续条件，与numpy正好相反

#此示例示意numpy
import numpy as np

#创建数组
n = np.arange(6).reshape(6,)

#np.where
np.where(n > 3,0,6)

#得到结果
array([6, 6, 6, 6, 0, 0])

可以看到，在一维数组中，pandas的where是找到真值表达式的 False 进行修改，而 numpy 是提供两个参数numpy.where(condition[, x, y])如果表达式为True，就修改为x，如果为False，修改为y

未完待续。。。