从零开始机器学习-8 五分钟学会Pandas

最新推荐文章于 2022-11-25 11:30:00 发布

过载的土豆

最新推荐文章于 2022-11-25 11:30:00 发布

阅读量612

点赞数

分类专栏：从零开始机器学习 AI Programming

本文链接：https://blog.csdn.net/sqy941013/article/details/80528261

版权

从零开始机器学习同时被 2 个专栏收录

22 篇文章 16 订阅

订阅专栏

AI Programming

19 篇文章 5 订阅

订阅专栏

本文由沈庆阳所有,转载请与作者取得联系!

引言

在上一讲中，我们了解了机器学习程序中的数据集发挥着极为重要的作用。可以说，没有良好的数据集就无法得到合适的模型。但是准备数据集是一项极其枯燥乏味，且需要大量时间的工作。那么在学习和练习的过程中，有没有简单有效且迅速的方法来获取数据集呢？
答案是肯定的。现如今机器学习的社区日渐庞大，对于各种机器学习问题的数据集也越来越多。像我们前面提到的Microsoft维护的COCO数据集就是在目标检测上面的一个例子。对于一些数据格式来说，我们需要用数据分析的工具来讲现有的数据提取为我们需要的数据。对于列存数据的分析，我们使用Pandas API来进行。
Pandas是用于处理和分析输入数据的工具，目前很多机器学习的框架都支持使用Pandas数据结构作为输入。
安装Pandas很简单，通过pip install pandas命令即可完成对pandas的安装。
导入pandas，并输出相应的版本号。

import pandas as pd
pd.__version__

Pandas API的基本概念

创建Series和DataFrame对象

在进行如下学习的过程中，建议在Python Shell、或是Python控制台运行，因为可以直观地看到运行的结果，而不是需要print函数进行输出。
Pandas中的数据结构有如下两类：
1、DataFrame：由多个行和有名称的列构成的关系型数据表格。
2、Series：单一的列。每个Series均有一个名称，且一个DataFrame中包含一个或多个Series。
DataFrame是用于数据操控的一种常见的抽象实现形式。
通过如下代码可以创建Series：

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

控制台输出如下

0    San Francisco
1         San Jose
2       Sacramento
dtype: object

可以看到，我们定义了一列由CA的几个区名构成的一个Series（列）。
由一个或多个列组成一个DataFrame的例子如下：

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({ 'City name': city_names, 'Population': population })

首先，定义了city_names和population两个Series对象，并通过Pandas的DataFrame构造函数构造了一个新的DataFrame。在构造DataFrame的时候，为其每个Series指定了名称。
在DataFrame的构造函数中，其用法与Dictionary的用法较为类似。
在构造DataFrame的时候，如果两个Series的长度不一致，如一个Series有3行，一个Series有2行，那么构造的DataFrame较短的Series的第三行则为NA/Nan值来填充。
上述构建DataFrame的结果如下：

       City name  Population
0  San Francisco      852469
1       San Jose     1015785
2     Sacramento      485199

从网络读取数据与DataFrame的基本操作

大多数情况下，我们可以通过网络来读取数据，并创建特征定义。在Pandas中，可以使用pd.read_csv()函数来读取csv文件，并由此创建DataFrame对象。
以加利福尼亚的房价数据为例（california_housing_train.csv），文件存储位置（https://raw.githubusercontent.com/sqy941013/learnmachinelearning/master/california_housing_train.csv）

california_housing_dataframe = pd.read_csv("https://raw.githubusercontent.com/sqy941013/learnmachinelearning/master/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()

其通过pandas的DataFrame对象的describe()函数输出关于该的DataFrame的内容的一些统计信息如下：

          longitude      latitude  housing_median_age   total_rooms  \
count  17000.000000  17000.000000        17000.000000  17000.000000
mean    -119.562108     35.625225           28.589353   2643.664412
std        2.005166      2.137340           12.586937   2179.947071
min     -124.350000     32.540000            1.000000      2.000000
25%     -121.790000     33.930000           18.000000   1462.000000
50%     -118.490000     34.250000           29.000000   2127.000000
75%     -118.000000     37.720000           37.000000   3151.250000
max     -114.310000     41.950000           52.000000  37937.000000

       total_bedrooms    population    households  median_income  \
count    17000.000000  17000.000000  17000.000000   17000.000000
mean       539.410824   1429.573941    501.221941       3.883578
std        421.499452   1147.852959    384.520841       1.908157
min          1.000000      3.000000      1.000000       0.499900
25%        297.000000    790.000000    282.000000       2.566375
50%        434.000000   1167.000000    409.000000       3.544600
75%        648.250000   1721.000000    605.250000       4.767000
max       6445.000000  35682.000000   6082.000000      15.000100

       median_house_value
count        17000.000000
mean        207300.912353
std         115983.764387
min          14999.000000
25%         119400.000000
50%         180400.000000
75%         265000.000000
max         500001.000000

可以看到，我们的csv文件有经纬度、房屋年龄、总房间数等Series。而describe()函数统计了这些Series的总数（count）、平均数（mean）、最小值（min）等统计学中的信息。
与DataFrame有关的另一个比较有用的函数是head()。通过head()函数可以显示DataFrame的前几个记录

california_housing_dataframe.head()

   longitude  latitude  housing_median_age  total_rooms  total_bedrooms  \
0    -114.31     34.19                15.0       5612.0          1283.0
1    -114.47     34.40                19.0       7650.0          1901.0
2    -114.56     33.69                17.0        720.0           174.0
3    -114.57     33.64                14.0       1501.0           337.0
4    -114.57     33.57                20.0       1454.0           326.0

   population  households  median_income  median_house_value
0      1015.0       472.0         1.4936             66900.0
1      1129.0       463.0         1.8200             80100.0
2       333.0       117.0         1.6509             85700.0
3       515.0       226.0         3.1917             73400.0
4       624.0       262.0         1.9250             65500.0

此外，Pandas还可以绘制图表。例如DataFrame的Hist函数，我们可以快速地绘制出一个列中值的分布（需要安装matplotlib）。

california_housing_dataframe.hist('housing_median_age')

使用如下命令显示上图

from pylab import *
show()

Hist函数绘制的统计图

使用Pandas访问数据

访问Pandas的数据结构中的数据（DataFrame与Series）可以使用Python语言中访问Dictionary与List的语法来访问。
首先创建一个名为cities的DataFrame，然后输出cities中的city_names的所有数据：

cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print type(cities['City name'])
cities['City name']

运行结果：

<class 'pandas.core.series.Series'>
0    San Francisco
1         San Jose
2       Sacramento
Name: City name, dtype: object

或访问city_names的第2个数据：

print type(cities['City name'][1])
cities['City name'][1]

运行结果：

<type 'str'>
'San Jose'

或是输出第1到第2个数据：

print type(cities[0:2])
cities[0:2]

运行结果：

       City name  Population
0  San Francisco      852469
1       San Jose     1015785

关于Pandas的高级索引和选择功能，参见官方API文档：http://pandas.pydata.org/pandas-docs/stable/indexing.html

Pandas中操控数据

对Pandas中的数据结构的操作可以使用Python的基本运算指令。如：

population / 1000

得到：

0     852.469
1    1015.785
2     485.199
dtype: float64

还可以使用Numpy科学计算工具包进行计算，Pandas中的Series可以作为大部分Numpy函数的参数：
使用import numpy as np导入Numpy包。通过np.log(population)来进行控制台输出（以log函数为例）。

>>> import numpy as np
>>> np.log(population)
0    13.655892
1    13.831172
2    13.092314
dtype: float64

对于单列转换，可以使用Series.apply函数来进行。
与Python的映射函数类似，Series.apply()接收lambda函数，并且lambda函数运用于每个值。
以创建population是否超过100万的Series为例：

population.apply(lambda val: val > 1000000)

0    False
1     True
2    False
dtype: bool

从apply函数中，我们创建了一个新的Series，其存储的是population在该行是否人口大于100万。

对DataFrame的修改也很简单。我们可以对DataFrame进行添加新的Series。

>>> cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
>>> cities['Population density'] = cities['Population'] / cities['Area square miles']
>>> cities
       City name  Population  Area square miles  Population density
0  San Francisco      852469              46.87        18187.945381
1       San Jose     1015785             176.53         5754.177760
2     Sacramento      485199              97.92         4955.055147

索引

Series和DataFrame也定义了index属性，其index属性会向每个Series或DataFrame行赋一个标识符。
初始情况下，构造Series或DataFrame时，Pandas会付给标识符反映原始数据顺序的索引值。一般来说，索引值在Series或DataFrame对象创建完成之后是稳定的。其不会根据数据的重新排序而发生改变。

>>> city_names.index
RangeIndex(start=0, stop=3, step=1)

>>> cities.index
RangeIndex(start=0, stop=3, step=1)

通过调用DataFrame的reindex()函数来进行各行的重新排序。

    City name   Population  Area square miles   Population density  Is wide and has saint name
2   Sacramento  485199  97.92   4955.055147 False
0   San Francisco   852469  46.87   18187.945381    False
1   San Jose    1015785 176.53  5754.177760 True

通过reindex()函数，我们可以对DataFrame进行打乱顺序重新排序（随机排序）。reindex()函数也可以和Numpy的random.permutation()函数相结合。

cities.reindex(np.random.permutation(cities.index))

    City name   Population  Area square miles   Population density  Is wide and has saint name
1   San Jose    1015785 176.53  5754.177760 True
2   Sacramento  485199  97.92   4955.055147 False
0   San Francisco   852469  46.87   18187.945381    False