Pandas简介

本文根据Google机器学习平台学习内容整理得。

1.Pandas介绍：

pandas是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具，很多机器学习框架都支持将pandas*数据结构作为输入。

2.基本概念

 ①首先导入pandas包，查看其版本

import pandas as pd
pd._version_

 ②pandas 中的主要数据结构被实现为以下两类：

        DataFrame，您可以将它想象成一个关系型数据表格，其中包含多个行和已命名的列。

        Series，它是单一列。DataFrame 中包含一个或多个 Series，每个 Series 均有一个名称。

       数据框架是用于数据操控的一种常用抽象实现形式。[Spark](https://spark.apache.org/) 和 [R](https://www.r-                         project.org/about.html) 中也有类似的实现。

创建 Series 的一种方法是构建 Series 对象。例如：

import pandas as pd

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

可以将映射 string 列名称的 dict 传递到它们各自的 Series，从而创建DataFrame对象。如果 Series 在长度上不一致，系统会用特殊的[NA/NaN]值填充缺失的值。例如：

import pandas as pd

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({'City name': city_names, 'Population': population })

但是在大多数情况下，您需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。请运行以下单元格以加载数据，并创建特征定义：

import pandas as pd

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()

上面的示例使用 DataFrame.describe 来显示关于 DataFrame 的有趣统计信息。另一个实用函数是 DataFrame.head，它显示 DataFrame 的前几个记录：

import pandas as pd

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.head()

pandas 的另一个强大功能是绘制图表。例如，借助 DataFrame.hist，可以快速了解一个列中值的分布：

import pandas as pd

california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.hist('housing_median_age')

③访问数据

可以使用熟悉的 Python dict/list 指令访问 DataFrame 数据：

import pandas as pd
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })

print(type(cities['City name']))
print(cities['City name'])

print(type(cities['City name'][0]))
print(cities['City name'][0])

print(type(cities[0:2]))
print(cities[0:2])

# 输出:
# <class 'pandas.core.series.Series'>
# 0    San Francisco
# 1         San Jose
# 2       Sacramento
# Name: City name, dtype: object
# <class 'str'>
# San Francisco
# <class 'pandas.core.frame.DataFrame'>
#        City name  Population
# 0  San Francisco      852469
# 1       San Jose     1015785

④操纵数据

可以向 Series 应用 Python 的基本运算指令。例如：

import pandas as pd
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

print(population/1000)
# 输出：
# 
# 0     852.469
# 1    1015.785
# 2     485.199
# dtype: float64

NumPy 是一种用于进行科学计算的常用工具包。pandas Series 可用作大多数 NumPy 函数的参数：

import pandas as pd
import numpy as np

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

print(np.log(population))
# 输出:
# 0    13.655892
# 1    13.831172
# 2    13.092314
# dtype: float64

对于更复杂的单列转换，可以使用 Series.apply。像 Python映射函数一样，Series.apply 将以参数形式接受 lambda 函数，而该函数会应用于每个值。下面的示例创建了一个指明 population 是否超过 100 万的新 Series：

import pandas as pd
import numpy as np

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

print(population.apply(lambda value:value>1000000))
# 输出：
# 0    False
# 1     True
# 2    False
# dtype: bool

DataFrames 的修改方式也非常简单。例如，以下代码向现有 DataFrame 添加了两个 Series：

import pandas as pd
import numpy as np

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
print(cities)

# 输出:
#        City name  Population  Area square miles  Population density
# 0  San Francisco      852469              46.87        18187.945381
# 1       San Jose     1015785             176.53         5754.177760
# 2     Sacramento      485199              97.92         4955.055147

练习1：

通过添加一个新的布尔值列（当且仅当以下两项均为 True 时为 True）修改 cities 表格：

     城市以圣人命名。
     城市面积大于 50 平方英里。
注意：布尔值 Series 是使用“按位”而非传统布尔值“运算符”组合的。例如，执行逻辑与时，应使用 &，而不是 and。

提示：San 在西班牙语中意为 saint。

import pandas as pd
import numpy as np

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities['Is wide and has saint name'] = \
    (cities['Area square miles'] > 50)\
    & cities['City name'].apply(lambda name: name.startswith('San'))
print(cities)

# 输出:
#        City name  Population  Area square miles  Population density  \
# 0  San Francisco      852469              46.87        18187.945381   
# 1       San Jose     1015785             176.53         5754.177760   
# 2     Sacramento      485199              97.92         4955.055147   
# 
#    Is wide and has saint name  
# 0                       False  
# 1                        True  
# 2                       False  

⑤索引

Series 和 DataFrame 对象也定义了 index 属性，该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。

默认情况下，在构造时，pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的；也就是说，它们不会因为数据重新排序而发生改变。

import pandas as pd

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(city_names.index)

print(cities.index)

# 输出:
# RangeIndex(start=0, stop=3, step=1)
# RangeIndex(start=0, stop=3, step=1)

调用 DataFrame.reindex 以手动重新排列各行的顺序。例如，以下方式与按城市名称排序具有相同的效果：

import pandas as pd

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(cities.reindex([2,0,1]))

# 输出:
#        City name  Population
# 2     Sacramento      485199
# 0  San Francisco      852469
# 1       San Jose     1015785

重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中，取用类似数组的索引，然后将其传递至 NumPy 的 random.permutation 函数，该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex，会导致 DataFrame 行以同样的方式随机排列。尝试多次运行代码，会得到不同的结果

import pandas as pd
import numpy as np
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(cities.reindex(np.random.permutation(cities.index)))

#输出:
#第一次运行
#        City name  Population
# 1       San Jose     1015785
# 2     Sacramento      485199
# 0  San Francisco      852469
#第二次运行
#        City name  Population
# 1       San Jose     1015785
# 0  San Francisco      852469
# 2     Sacramento      485199

练习2：

reindex 方法允许使用未包含在原始 DataFrame 索引值中的索引值。请试一下，看看如果使用此类值会发生什么！允许此类值的原因是什么？

  reindex  输入数组包含原始  DataFrame  索引值中没有的值， reindex  会为此类“丢失的”索引添加新行，并在所有对应列中填充  NaN  值：

import pandas as pd
import numpy as np
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(cities.reindex([0,3,4,2]))

# 输出:
#        City name  Population
# 0  San Francisco    852469.0
# 3            NaN         NaN
# 4            NaN         NaN
# 2     Sacramento    485199.0

这种行为是可取的，因为索引通常是从实际数据中提取的字符串，在这种情况下，如果允许出现“丢失的”索引，将可以轻松使用外部列表重建索引，因为您不必担心会将输入清理掉。