pythonpandas入门_[Python]Pandas简单入门(转)

本篇文章转自 https://colab.research.google.com/notebooks/mlcc/intro_to_pandas.ipynb?hl=zh-cn#scrollTo=zCOn8ftSyddH

是Google的Machine Learning课程中关于Pandas的入门教程,感觉讲的很简单很实用,直接搬运过来

学习目标:

大致了解 pandas 库的 DataFrame 和 Series 数据结构

存取和处理 DataFrame 和 Series 中的数据

将 CSV 数据导入 pandas 库的 DataFrame

对 DataFrame 重建索引来随机打乱数据

pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具,很多机器学习框架都支持将 pandas 数据结构作为输入。 虽然全方位介绍 pandas API 会占据很长篇幅,但它的核心概念非常简单,我们会在下文中进行说明。有关更完整的参考,请访问 pandas 文档网站,其中包含丰富的文档和教程资源。

基本概念

以下行导入了 pandas API 并输出了相应的 API 版本:

import pandas as pd

pd.__version__

pandas 中的主要数据结构被实现为以下两类:

DataFrame,您可以将它想象成一个关系型数据表格,其中包含多个行和已命名的列。

Series,它是单一列。DataFrame 中包含一个或多个 Series,每个 Series 均有一个名称。

数据框架是用于数据操控的一种常用抽象实现形式。Spark 和 R 中也有类似的实现。

创建 Series 的一种方法是构建 Series 对象。例如:

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

0 San Francisco

1 San Jose

2 Sacramento

dtype: object

您可以将映射 string 列名称的 dict 传递到它们各自的 Series,从而创建DataFrame对象。如果 Series 在长度上不一致,系统会用特殊的 NA/NaN 值填充缺失的值。例如:

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])

population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({ 'City name': city_names, 'Population': population })

City name Population

0 San Francisco 852469

1 San Jose 1015785

2 Sacramento 485199

但是在大多数情况下,您需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。请运行以下单元格以加载数据,并创建特征定义:

california_housing_dataframe=pd.read_csv("https://storage.googleapis.com/mledu-datasets/california_housing_train.csv", sep=",")

california_housing_dataframe.describe()

longitude latitude housing_median_age total_rooms total_bedrooms population households median_income median_house_value

count 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000

mean -119.562108 35.625225 28.589353 2643.664412 539.410824 1429.573941 501.221941 3.883578 207300.912353

std 2.005166 2.137340 12.586937 2179.947071 421.499452 1147.852959 384.520841 1.908157 115983.764387

min -124.350000 32.540000 1.000000 2.000000 1.000000 3.000000 1.000000 0.499900 14999.000000

25% -121.790000 33.930000 18.000000 1462.000000 297.000000 790.000000 282.000000 2.566375 119400.000000

50% -118.490000 34.250000 29.000000 2127.000000 434.000000 1167.000000 409.000000 3.544600 180400.000000

75% -118.000000 37.720000 37.000000 3151.250000 648.250000 1721.000000 605.250000 4.767000 265000.000000

max -114.310000 41.950000 52.000000 37937.000000 6445.000000 35682.000000 6082.000000 15.000100 500001.000000

上面的示例使用 DataFrame.describe 来显示关于 DataFrame 的有趣统计信息。另一个实用函数是 DataFrame.head,它显示 DataFrame 的前几个记录:

california_housing_dataframe.head()

longitude latitude housing_median_age total_rooms total_bedrooms population households median_income median_house_value

0 -114.31 34.19 15.0 5612.0 1283.0 1015.0 472.0 1.4936 66900.0

1 -114.47 34.40 19.0 7650.0 1901.0 1129.0 463.0 1.8200 80100.0

2 -114.56 33.69 17.0 720.0 174.0 333.0 117.0 1.6509 85700.0

3 -114.57 33.64 14.0 1501.0 337.0 515.0 226.0 3.1917 73400.0

4 -114.57 33.57 20.0 1454.0 326.0 624.0 262.0 1.9250 65500.0

pandas 的另一个强大功能是绘制图表。例如,借助 DataFrame.hist,您可以快速了解一个列中值的分布:

california_housing_dataframe.hist('housing_median_age')

访问数据

您可以使用熟悉的 Python dict/list 指令访问 DataFrame 数据:

cities = pd.DataFrame({ 'City name': city_names, 'Population': population })

print type(cities['City name'])

cities['City name']

0 San Francisco

1 San Jose

2 Sacramento

Name: City name, dtype: object

print type(cities['City name'][1])

cities['City name'][1]

'San Jose'

print type(cities[0:2])

cities[0:2]

City name Population Area square miles Population density

0 San Francisco 852469 46.87 18187.945381

1 San Jose 1015785 176.53 5754.177760

此外,pandas 针对高级索引和选择提供了极其丰富的 API(数量过多,此处无法逐一列出)。

操控数据

您可以向 Series 应用 Python 的基本运算指令。例如:

population / 1000

0 852.469

1 1015.785

2 485.199

dtype: float64

NumPy 是一种用于进行科学计算的常用工具包。pandas Series 可用作大多数 NumPy 函数的参数:

import numpy as np

np.log(population)

0 13.655892

1 13.831172

2 13.092314

dtype: float64

对于更复杂的单列转换,您可以使用 Series.apply。像 Python 映射函数一样,Series.apply 将以参数形式接受 lambda 函数,而该函数会应用于每个值。

下面的示例创建了一个指明 population 是否超过 100 万的新 Series:

population.apply(lambda val: val > 1000000)

0 False

1 True

2 False

dtype: bool

DataFrames 的修改方式也非常简单。例如,以下代码向现有 DataFrame 添加了两个 Series:

cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])

cities['Population density'] = cities['Population'] / cities['Area square miles']

cities

City name Population Area square miles Population density

0 San Francisco 852469 46.87 18187.945381

1 San Jose 1015785 176.53 5754.177760

2 Sacramento 485199 97.92 4955.055147

练习 1

通过添加一个新的布尔值列(当且仅当以下两项均为 True 时为 True)修改 cities 表格:

城市以圣人命名。

城市面积大于 50 平方英里。

注意:布尔值 Series 是使用“按位”而非传统布尔值“运算符”组合的。例如,执行逻辑与时,应使用 &,而不是 and。

提示:"San" 在西班牙语中意为 "saint"。

cities['bool new'] = (cities['City name'].apply(lambda name: name.startswith('San')) & cities['Area square miles'] > 50 )

cities

City name Population Area square miles Population density bool ly

0 San Francisco 852469     46.87     18187.945381      False

1 San Jose    1015785      176.53      5754.177760      False

2 Sacramento   485199      97.92      4955.055147      False

索引

Series 和 DataFrame 对象也定义了 index 属性,该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。

默认情况下,在构造时,pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的;也就是说,它们不会因为数据重新排序而发生改变。

调用 DataFrame.reindex 以手动重新排列各行的顺序。例如,以下方式与按城市名称排序具有相同的效果:

cities.reindex([2, 0, 1])

City name Population Area square miles Population density bool new

2 Sacramento 485199 97.92 4955.055147    False

0 San Francisco 852469 46.87 18187.945381 False

1 San Jose 1015785 176.53 5754.177760 False

重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中,我们会取用类似数组的索引,然后将其传递至 NumPy 的 random.permutation 函数,该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex,会导致 DataFrame 行以同样的方式随机排列。 尝试多次运行以下单元格!

cities.reindex(np.random.permutation(cities.index))

City name Population Area square miles Population density bool ly

1 San Jose 1015785    176.53         5754.177760 False

0 San Francisco 852469    46.87          18187.945381 False

2 Sacramento 485199    97.92         4955.055147 False

如果您的 reindex 输入数组包含原始 DataFrame 索引值中没有的值,reindex 会为此类“丢失的”索引添加新行,并在所有对应列中填充 NaN 值:

这种行为是可取的,因为索引通常是从实际数据中提取的字符串(请参阅 pandas reindex 文档,查看索引值是浏览器名称的示例)。

在这种情况下,如果允许出现“丢失的”索引,您将可以轻松使用外部列表重建索引,因为您不必担心会将输入清理掉。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值