学习目标:
-
大致了解pandas库的DataFrame和Series数据结构
-
存取和处理DataFrame和Series中的数据
-
将CSV数据导入pandas库的DataFrame
-
对DataFrame重建索引来随机打乱数据 pandas是一种存取数据分析API。他是用于处理和分析输入数据的强大工具,很多机器学习框架都支持将pandas数据结构作为输入。本文只讲解他的核心内容。有关完整参考请访问pandas文档网站。
1. 基本概念
pandas中的主要数据结构为以下两类
-
DataFrame,类似于关系型数据表格,其中包含多个行和已命名的列
-
Series,类似于Excel中的一列 DataFrame中包含一个或者多个Series,而且每个Series都有一个名称
导入pandas:
import pandas as pd
创建Series对象:
pd.Series(['海淀','朝阳','昌平'])
您可以将映射 string 列名称的 dict 传递到它们各自的 Series,从而创建DataFrame对象。如果 Series 在长度上不一致,系统会用特殊的 NA/NaN 值填充缺失的值。例如:
dist_names = pd.Series(['海淀','朝阳','昌平'])
population = pd.Series([852469, 1015785, 485199])
pd.DataFrame({ 'Dist_name': dist_names, 'Population': population })
但是在大多数情况下,您需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。请运行以下单元格以加载数据,并创建特征定义:
beijing_house_price_dataframe = pd.read_csv("https://raw.githubusercontent.com/githubtx/datasets/master/bj_chengjiao.csv", sep=",",encoding="gbk")
beijing_house_price_dataframe.describe()
上面的示例使用 DataFrame.describe 来显示关于 DataFrame 的有趣统计信息。另一个实用函数是 DataFrame.head,它显示 DataFrame 的前几个记录:
beijing_house_price_dataframe.head()
pandas 的另一个强大功能是绘制图表。例如,借助 DataFrame.hist,您可以快速了解一个列中值的分布:
beijing_house_price_dataframe.hist('area')
2. 数据访问
可以使用熟悉的Python dict/list 指令访问DataFrame 数据:
data = pd.DataFrame({ 'Dist_name': dist_names, 'Population': population })
print(type(data['Dist_name']))
data['Dist_name']
data['Population'][1]
data[0:2]
3. 数据操控
可以向Series应用Python的基本运算指令。如:
population/1000
对于更复杂的单列转换,您可以使用 Series.apply。像 Python 映射函数一样,Series.apply 将以参数形式接受 lambda 函数,而该函数会应用于每个值。
下面的示例创建了一个指明 population 是否超过 100 万的新 Series:
population.apply(lambda val: val > 1000000)
DataFrames 的修改方式也非常简单。例如,以下代码向现有 DataFrame 添加了两个 Series:
data['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
data['Population density'] = data['Population'] / data['Area square miles']
data
Series 和 DataFrame 对象也定义了 index 属性,该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。 默认情况下,在构造时,pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的;也就是说,它们不会因为数据重新排序而发生改变。 重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中,我们会取用类似数组的索引,然后将其传递至 NumPy 的 random.permutation 函数,该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex,会导致 DataFrame 行以同样的方式随机排列。 尝试多次运行以下单元格!
data.reindex(np.random.permutation(cities.index))