Pandas 简介:Pandas 是用于进行数据分析和建模的重要库,广泛应用于 TensorFlow 编码。该教程提供了学习本课程所需的全部 Pandas 信息。pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具,很多机器学习框架都支持将 pandas 数据结构作为输入。有关更完整的参考,请访问 pandas 文档网站,其中包含丰富的文档和教程资源。
pandas 中的主要数据结构被实现为以下两类:
DataFrame
,您可以将它想象成一个关系型数据表格,其中包含多个行和已命名的列。Series
,它是单一列。DataFrame
中包含一个或多个Series
,每个Series
均有一个名称。
数据框架是用于数据操控的一种常用抽象实现形式。Spark 和 R 中也有类似的实现。
#coding=utf-8
from __future__ import print_function
import pandas as pd
print (pd.__version__)
'''
第一步:panda数据类:
两类 *pandas* 中的主要数据结构被实现为以下两类:
Series,它是单一列。
DataFrame,将它想象成一个关系型数据表格,其中包含多个行和已命名的列。
'''
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])
pd.DataFrame({ 'City name': city_names, 'Population': population })
'''
第一步结果展示:
City name Population
San Francisco 852469
San Jose 1015785
Sacramento 485199
'''
'''
第二步:pandas数据读取、统计信息、数据显示、数据直方图显示
pandas读取csv文件,数据描述符(几个有趣统计信息)、DataFrame的前几个记录、数据直方图
'''
california_housing_dataframe = pd.read_csv("https://download.mlcc.google.cn/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()
california_housing_dataframe.head()
california_housing_dataframe.hist('housing_median_age')
'''
第二步结果展示:
longitude latitude housing_median_age total_rooms total_bedrooms population households median_income median_house_value
count 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000 17000.000000
mean -119.562108 35.625225 28.589353 2643.664412 539.410824 1429.573941 501.221941 3.883578 207300.912353
std 2.005166 2.137340 12.586937 2179.947071 421.499452 1147.852959 384.520841 1.908157 115983.764387
min -124.350000 32.540000 1.000000 2.000000 1.000000 3.000000 1.000000 0.499900 14999.000000
25% -121.790000 33.930000 18.000000 1462.000000 297.000000 790.000000 282.000000 2.566375 119400.000000
50% -118.490000 34.250000 29.000000 2127.000000 434.000000 1167.000000 409.000000 3.544600 180400.000000
75% -118.000000 37.720000 37.000000 3151.250000 648.250000 1721.000000 605.250000 4.767000 265000.000000
max -114.310000 41.950000 52.000000 37937.000000 6445.000000 35682.000000 6082.000000 15.000100 500001.000000
'''
'''
第三步:pandas数据访问
'''
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(type(cities['City name']))
cities['City name']
'''
<class 'pandas.core.series.Series'>
0 San Francisco
1 San Jose
2 Sacramento
Name: City name, dtype: object
'''
print(type(cities['City name'][1]))
cities['City name'][1]
'''
<type 'str'>
'San Jose'
'''
print(type(cities[0:2]))
cities[0:2]
'''
<class 'pandas.core.frame.DataFrame'>
City name Population
0 San Francisco 852469
1 San Jose 1015785
'''
'''
第四步:操控数据-进行加减乘除等运算+加入numpy工具包
包含数据结构 Series 和 DataFrames
'''
# Series 数据结构的运算
# city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
# population = pd.Series([852469, 1015785, 485199])
population / 1000.
import numpy as np
np.log(population)
# 指明population是否超过100万的新Series:
population.apply(lambda val: val > 1000000)
'''
0 False
1 True
2 False
dtype: bool
'''
# DataFrames数据结构的运算
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
print (cities)
'''
City name Population Area square miles Population density
San Francisco 852469 46.87 18187.945381
San Jose 1015785 176.53 5754.177760
Sacramento 485199 97.92 4955.055147
'''
练习 1
通过添加一个新的布尔值列(当且仅当以下两项均为 True 时为 True)修改 cities
表格:
- 城市以圣人命名。
- 城市面积大于 50 平方英里。
注意:布尔值 Series
是使用“按位”而非传统布尔值“运算符”组合的。例如,执行逻辑与时,应使用 &
,而不是 and
。
提示:"San" 在西班牙语中意为 "saint"。
参考答案:
cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities
拓展
Series
和 DataFrame
对象也定义了 index
属性,该属性会向每个 Series
项或 DataFrame
行赋一个标识符值。
默认情况下,在构造时,pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的;也就是说,它们不会因为数据重新排序而发生改变。
city_names.index
'''
RangeIndex(start=0, stop=3, step=1)
'''
cities.index
'''
RangeIndex(start=0, stop=3, step=1)
'''
# 调用 DataFrame.reindex 以手动重新排列各行的顺序。例如,以下方式与按城市名称排序具有相同的效果:
cities.reindex([2, 0, 1])
'''
City name Population Area square miles Population density
2 Sacramento 485199 97.92 4955.055147
0 San Francisco 852469 46.87 18187.945381
1 San Jose 1015785 176.53 5754.177760
'''
'''
重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中,我们会取用类似数组的索引,然后将其传递至 NumPy 的 random.permutation 函数,该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex,会导致 DataFrame 行以同样的方式随机排列。 尝试多次运行以下单元格!
'''
cities.reindex(np.random.permutation(cities.index))
'''
City name Population Area square miles Population density
San Jose 1015785 176.53 5754.177760
San Francisco 852469 46.87 18187.945381
Sacramento 485199 97.92 4955.055147
'''
有关详情,请参阅索引文档。
练习 2
reindex
方法允许使用未包含在原始 DataFrame
索引值中的索引值。请试一下,看看如果使用此类值会发生什么!您认为允许此类值的原因是什么?
如果您的 reindex
输入数组包含原始 DataFrame
索引值中没有的值,reindex
会为此类“丢失的”索引添加新行,并在所有对应列中填充 NaN
值:
参考答案:
cities.reindex([0, 4, 5, 2])
这种行为是可取的,因为索引通常是从实际数据中提取的字符串(请参阅 pandas reindex 文档,查看索引值是浏览器名称的示例)。
在这种情况下,如果允许出现“丢失的”索引,您将可以轻松使用外部列表重建索引,因为您不必担心会将输入清理掉。
参考资源: