Python_2018-10-23_机器学习——Pandas库使用

Pandas 简介：Pandas 是用于进行数据分析和建模的重要库，广泛应用于 TensorFlow 编码。该教程提供了学习本课程所需的全部 Pandas 信息。pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具，很多机器学习框架都支持将 pandas 数据结构作为输入。有关更完整的参考，请访问 pandas 文档网站，其中包含丰富的文档和教程资源。

pandas 中的主要数据结构被实现为以下两类：

• DataFrame，您可以将它想象成一个关系型数据表格，其中包含多个行和已命名的列。
• Series，它是单一列。DataFrame 中包含一个或多个 Series，每个 Series 均有一个名称。

数据框架是用于数据操控的一种常用抽象实现形式。Spark 和 R 中也有类似的实现。

#coding=utf-8
from __future__ import print_function

import pandas as pd
print (pd.__version__)

'''
第一步：panda数据类：
两类 *pandas* 中的主要数据结构被实现为以下两类：
Series，它是单一列。
DataFrame，将它想象成一个关系型数据表格，其中包含多个行和已命名的列。

''' 
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])

pd.DataFrame({ 'City name': city_names, 'Population': population })
'''
第一步结果展示：
City name         Population
San Francisco     852469
San Jose          1015785
Sacramento        485199
'''

'''
第二步：pandas数据读取、统计信息、数据显示、数据直方图显示
pandas读取csv文件，数据描述符（几个有趣统计信息）、DataFrame的前几个记录、数据直方图
'''
california_housing_dataframe = pd.read_csv("https://download.mlcc.google.cn/mledu-datasets/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()
california_housing_dataframe.head()
california_housing_dataframe.hist('housing_median_age')
'''
第二步结果展示：
longitude	latitude	housing_median_age	total_rooms	total_bedrooms	population	households	median_income	median_house_value
count	17000.000000	17000.000000	17000.000000	17000.000000	17000.000000	17000.000000	17000.000000	17000.000000	17000.000000
mean	-119.562108	35.625225	28.589353	2643.664412	539.410824	1429.573941	501.221941	3.883578	207300.912353
std	2.005166	2.137340	12.586937	2179.947071	421.499452	1147.852959	384.520841	1.908157	115983.764387
min	-124.350000	32.540000	1.000000	2.000000	1.000000	3.000000	1.000000	0.499900	14999.000000
25%	-121.790000	33.930000	18.000000	1462.000000	297.000000	790.000000	282.000000	2.566375	119400.000000
50%	-118.490000	34.250000	29.000000	2127.000000	434.000000	1167.000000	409.000000	3.544600	180400.000000
75%	-118.000000	37.720000	37.000000	3151.250000	648.250000	1721.000000	605.250000	4.767000	265000.000000
max	-114.310000	41.950000	52.000000	37937.000000	6445.000000	35682.000000	6082.000000	15.000100	500001.000000
'''

'''
第三步：pandas数据访问
'''
cities = pd.DataFrame({ 'City name': city_names, 'Population': population })
print(type(cities['City name']))
cities['City name']
'''
<class 'pandas.core.series.Series'>
0    San Francisco
1         San Jose
2       Sacramento
Name: City name, dtype: object
'''

print(type(cities['City name'][1]))
cities['City name'][1]
'''
<type 'str'>
'San Jose'
'''

print(type(cities[0:2]))
cities[0:2]
'''
<class 'pandas.core.frame.DataFrame'>
City name	Population
0	San Francisco	852469
1	San Jose	1015785
'''

'''
第四步：操控数据-进行加减乘除等运算+加入numpy工具包
包含数据结构 Series 和 DataFrames
'''
# Series 数据结构的运算
# city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
# population = pd.Series([852469, 1015785, 485199])
population / 1000.

import numpy as np
np.log(population)

# 指明population是否超过100万的新Series：
population.apply(lambda val: val > 1000000)
'''
0    False
1     True
2    False
dtype: bool
'''

# DataFrames数据结构的运算
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
print (cities)
'''
City name	    Population	Area square miles	Population density
San Francisco	    852469	    46.87	            18187.945381
San Jose	    1015785	    176.53	            5754.177760
Sacramento	    485199	    97.92	            4955.055147
'''

练习 1

通过添加一个新的布尔值列（当且仅当以下两项均为 True 时为 True）修改 cities 表格：

• 城市以圣人命名。
• 城市面积大于 50 平方英里。

注意：布尔值 Series 是使用“按位”而非传统布尔值“运算符”组合的。例如，执行逻辑与时，应使用 &，而不是 and。

提示："San" 在西班牙语中意为 "saint"。

参考答案：

cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities

拓展

Series 和 DataFrame 对象也定义了 index 属性，该属性会向每个 Series 项或 DataFrame 行赋一个标识符值。

默认情况下，在构造时，pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的；也就是说，它们不会因为数据重新排序而发生改变。

city_names.index
'''
RangeIndex(start=0, stop=3, step=1)
'''

cities.index
'''
RangeIndex(start=0, stop=3, step=1)
'''

# 调用 DataFrame.reindex 以手动重新排列各行的顺序。例如，以下方式与按城市名称排序具有相同的效果：
cities.reindex([2, 0, 1])
'''
        City name	    Population	Area square miles	Population density
2	Sacramento	    485199	    97.92	            4955.055147
0	San Francisco	    852469	    46.87	            18187.945381
1	San Jose	    1015785	    176.53	            5754.177760
'''
'''
重建索引是一种随机排列 DataFrame 的绝佳方式。在下面的示例中，我们会取用类似数组的索引，然后将其传递至 NumPy 的 random.permutation 函数，该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex，会导致 DataFrame 行以同样的方式随机排列。 尝试多次运行以下单元格！
'''
cities.reindex(np.random.permutation(cities.index))
'''
City name	Population	    Area square miles	Population density
San Jose	1015785    	      176.53	        5754.177760
San Francisco	852469	            46.87	        18187.945381
Sacramento	485199	            97.92	        4955.055147
'''

 

有关详情，请参阅索引文档。

---

练习 2

reindex 方法允许使用未包含在原始 DataFrame 索引值中的索引值。请试一下，看看如果使用此类值会发生什么！您认为允许此类值的原因是什么？

如果您的 reindex 输入数组包含原始 DataFrame 索引值中没有的值，reindex 会为此类“丢失的”索引添加新行，并在所有对应列中填充 NaN 值：

参考答案：

cities.reindex([0, 4, 5, 2])

 这种行为是可取的，因为索引通常是从实际数据中提取的字符串（请参阅 pandas reindex 文档，查看索引值是浏览器名称的示例）。

在这种情况下，如果允许出现“丢失的”索引，您将可以轻松使用外部列表重建索引，因为您不必担心会将输入清理掉。

参考资源：

https://colab.research.google.com/notebooks/mlcc/intro_to_pandas.ipynb?utm_source=mlcc&utm_campaign=colab-external&utm_medium=referral&utm_content=pandas-colab&hl=zh-cn#scrollTo=8UngIdVhz8C0