【学习笔记】再谈pandas

如果对于pandas库的操作基本已经忘记的话，我们这里来重新复习以下。

我们首先导入pandas，我们这里也顺便导入numpy

import pandas as pd
import numpy as np

文章首先提到了series

import pandas as pd
import numpy as np
s1 = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
s2 = s1.copy()
s3 = s2[:, np.newaxis]
s4 = s3.reshape(1, 3)

print(s1.shape, '\n', s2.shape, '\n', s3.shape, '\n', s4.shape)


(3,) 
 (3,) 
 (3, 1) 
 (1, 3)

我们可以看到输出结果，series是只有1维的，我们可以用numpy来添加维度和改变数据的形状。

 

这里用series构建dataframe

city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({ 'City name': city_names, 'Population': population })

 

文中给出了实际例子，这个例子是csv格式。

california_housing_dataframe = pd.read_csv('california_housing_train.csv')

print(california_housing_dataframe.describe())

我们可以通过 df.describe()来查看每列的(总数，均值，标准差，(min 25% 50% 75% max)值。

 

california_housing_dataframe.head()

我们可以通过df.head(value) 来查看前value行的值。(在机器学习中，我们往往会将总体数据分为 训练集 测试集 和验证集)。

 

california_housing_dataframe.hist('housing_median_age')

还可以用来画图。我们也可以通过matplotlab来完成

plt.figure(1)

plt.hist(california_housing_dataframe.housing_median_age)

plt.show()

与pandas给出的图形一致。

 

回到之前的city 与population的例子中：

我们可以通过Python中 list/dict的用法来访问其中的数据:

df['City name']
df['City name'][1]
df['City name'][0:2]

 

我们也可以用来进行基本运算:

df['Population']/1000

np.log(population)
np.log(df['Population'])

 

我们也可以通过series.apply来创建lambda函数

population.apply(lambda val: val > 1000000)
df['Population'].apply(lambda val: val>1000000)

 

创建新列也非常的简单：

cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']

 

练习1:

通过添加一个新的布尔值列（当且仅当以下两项均为 True 时为 True）修改 cities 表格：

• 城市以圣人命名。
• 城市面积大于 50 平方英里。

注意：布尔值 Series 是使用“按位”而非传统布尔值“运算符”组合的。例如，执行逻辑与时，应使用 &，而不是 and。

提示："San" 在西班牙语中意为 "saint"。

答案:

cities['new column'] = (cities['Area square miles']> 50) &cities['City name'].apply(lambda name:name.startswith('San',0))

 

索引:

Series 和 DataFrame 对象也定义了 index 属性，该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。

默认情况下，在构造时，pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的；也就是说，它们不会因为数据重新排序而发生改变。

city_names.index
cities.index

我们也可以用reindex重新排序。

也可以用np打乱顺序。

cities.reindex(np.random.permutation(cities.index))

这里请注意permutation和shuffle的区别， shuffle直接打乱原数组顺序，permutation是不会打乱原数组顺序，而是返回一个新的数组，这个新的数组顺序会被打乱。

 

练习 2

reindex 方法允许使用未包含在原始 DataFrame 索引值中的索引值。请试一下，看看如果使用此类值会发生什么！您认为允许此类值的原因是什么？(这里直接给出原文答案了)

如果您的 `reindex` 输入数组包含原始 `DataFrame` 索引值中没有的值，`reindex` 会为此类“丢失的”索引添加新行，并在所有对应列中填充 `NaN` 值

这种行为是可取的，因为索引通常是从实际数据中提取的字符串（请参阅 pandas reindex 文档，查看索引值是浏览器名称的示例）。

在这种情况下，如果允许出现“丢失的”索引，您将可以轻松使用外部列表重建索引，因为您不必担心会将输入清理掉。

 

在这里重新提了以下pandas库的用法，df中添加新列的方法(或者新行),我们之前也提过其他方法，这里不再一一赘述。文中给出的pandas的用法还是比较常见的。在官方文档中后续的例子中，我们也会用到(包括这个csv文件)。