🌟欢迎来到 我的博客 —— 探索技术的无限可能!
Pandas 初体验
【Python】—— Pandas 初体验(一)
【Python】—— Pandas 初体验(二)
第1关:了解数据处理对象–Series
任务描述
本关任务:仔细阅读编程要求,完成相关要求。
相关知识
为了完成本关任务,你需要掌握:
Pandas
中的数据结构;- 了解
Series
。
Pandas
是为了解决数据分析任务而创建的,纳入了大量的库和标准数据模型,提供了高效地操作大型数据集所需的工具。
对于 Pandas
包,在 Python
中常见的导入方法如下:
from pandas import Series,DataFrame
import pandas as pd
Pandas 中的数据结构
Series
: 一维数组,类似于Python
中的基本数据结构 list,区别是 Series 只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。就像数据库中的列数据;DataFrame
: 二维的表格型数据结构。很多功能与R
中的data.frame
类似。可以将DataFrame
理解为Series
的容器;Panel
:三维的数组,可以理解为DataFrame
的容器。
了解 Series
为了开始使用 Pandas
,我们必需熟悉它的两个重要的数据结构:Series
和 DataFrame
。虽然它们不是每一个问题的通用解决方案,但可以提供一个坚实的,易于使用的大多数应用程序的基础。
Series
是一个一维的类似的数组对象,包含一个数组的数据(任何NumPy
的数据类型)和一个与数组关联的数据标签,被叫做索引 。最简单的Series
是由一个数组的数据构成:
In [1]:obj=Series([4,7,-5,3])
In [2]:obj
Out[2]:
0 4
1 7
2 -5
3 3
Series
的交互式显示的字符串表示形式是索引在左边,值在右边。因为我们没有给数据指定索引,一个包含整数 0
到 N-1
这里 N 是数据的长度)的默认索引被创建。你可以分别的通过它的 values
和 index
属性来获取 Series
的数组表示和索引对象:
In [3]: obj.values
Out[3]:array([4,7,-5,3])
In [4]: obj.index
Out[4]:Int64Index([0,1,2,3])
通常,需要创建一个带有索引来确定每一个数据点的 Series
。
In [5]:obj2=Series([4,7,-5,3],index=['d','b','a','c'])
In [6]:obj2
Out[6]:
d 4
b 7
a -5
c 3
如果你有一些数据在一个 Python 字典中,你可以通过传递字典来从这些数据创建一个 Series
,只传递一个字典的时候,结果 Series
中的索引将是排序后的字典的键。
In [7]:sdata={'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}
In [8]:obj3=Series(sdata)
In [9]:obj3
Out[9]:
Ohio 35000
Texas 71000
Oregon 16000
Utah 5000
编程要求
根据提示,补充代码:
-
创建一个名为
series_a
的series
数组,当中值为[1,2,5,7]
,对应的索引为['nu', 'li', 'xue', 'xi']
; -
创建一个名为
dict_a
的字典,字典中包含如下内容{'ting':1, 'shuo':2, 'du':32, 'xie':44}
; -
将
dict_a
字典转化成名为series_b
的series
数组。
测试说明
- 如果答案正确,则会输出 True。
运行代码
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def create_series():
'''
返回值:
series_a: 一个Series类型数据
series_b: 一个Series类型数据
dict_a: 一个字典类型数据
'''
# 请在此添加代码 完成本关任务
# ********** Begin *********#
series_a=Series([1,2,5,7],index=['nu', 'li', 'xue', 'xi'])
dict_a={'ting':1, 'shuo':2, 'du':32, 'xie':44}
series_b=Series(dict_a)
# ********** End **********#
# 返回series_a,dict_a,series_b
return series_a,dict_a,series_b
第2关:了解数据处理对象-DataFrame
任务描述
本关任务:根据编程要求,完成相关代码的编写。
相关知识
为了完成本关任务,你需要掌握:
- DataFrame 创建;
- 修改行名;
- 添加修改;
- 添加 Series 类型;
- 添加新列。
DataFrame
是一个表格型的数据结构,是以一个或多个二维块存放的数据表格(层次化索引),DataFram
e 既有行索引还有列索引,它有一组有序的列,每列既可以是不同类型(数值、字符串、布尔型)的数据,或者可以看做由 Series
组成的字典。
DataFrame 创建
dictionary = {'state':['0hio','0hio','0hio','Nevada','Nevada'],
'year':[2000,2001,2002,2001,2002],
'pop':[1.5,1.7,3.6,2.4,2.9]}
frame = DataFrame(dictionary)
修改行名
frame=DataFrame(dictionary,index=['one','two','three','four','five'])
添加修改
frame['add']=[0,0,0,0,0]
添加 Series 类型
value = Series([1,3,1,4,6,8],index = [0,1,2,3,4,5])
frame['add1'] = value
添加新列
1、直接在后面新增一列
指明列名,并赋值即可:
data[‘列名’]=[1,2]
2、在指定位置新增一列
用insert()函数,data.insert(位置,列名,列值),例如:
data.insert(2,‘c’,’’)
编程要求
根据提示,补充代码:
-
创建一个五行三列的名为
df1
的DataFrame
数组,列名为[states,years,pops]
,行名['one','two','three','four','five']
; -
给
df1
添加新列,列名为new_add
,值为[7,4,5,8,2]
。
测试说明
如果答案正确,则会输出 True
。
运行代码
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def create_dataframe():
'''
返回值:
df1: 一个DataFrame类型数据
'''
# 请在此添加代码 完成本关任务
# ********** Begin *********#
dictionary = {'states':['','','','',''],
'years':['','','','',''],
'pops':['','','','','']}
df1 = DataFrame(dictionary)
df1 = DataFrame(dictionary,index=['one','two','three','four','five'])
df1['new_add'] = [7,4,5,8,2]
# ********** End **********#
#返回df1
return df1
第3关:读取 CSV 格式数据
任务描述
本关任务:根据编程要求,完成相关代码的编写。
相关知识
为了完成本关任务,你需要掌握:
- 读取 CSV;
- 查看前 n 行;
- 查看后 n 行;
- 查看总行数;
- 修改列名。
在使用机器学习工具包对数据进行修改、探索和分析之前,我们必须先讲外部数据导入。使用 Pandas
导入数据比 Numpy
要容易。在这里我们将使用英国降雨数据,数据已下好并放在本实训的当前文件夹。
读取 CSV
# Reading a csv into Pandas.
# 如果数据集中有中文的话,最好在里面加上 encoding = 'gbk' ,以避免乱码问题。后面的导出数据的时候也一样。
df = pd.read_csv('uk_rain_2014.csv', header=0)
这里我们从 csv
文件里导入了数据,并储存在 DataFrame
中。这一步非常简单,你只需要调用read_csv
然后将文件的路径传进去就行了。header
关键字告诉Pandas
哪些是数据的列名。如果没有列名的话就将它设定为None
。
数据导入pandas
之后,我们该怎么查看数据呢?
查看前 n 行
# Getting first x rows.
df.head(5)
查看后 n 行
# Getting last x rows.
df.tail(5)
查看总行数
# Finding out how many rows dataset has.
len(df)
修改列名
我们通常使用列的名字来在 Pandas
中查找列。这一点很好而且易于使用,但是有时列名太长,我们需要缩短列名。
# Changing column labels.
df.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']
编程要求
根据提示,补充代码:
-
将
test3/uk_rain_2014.csv
中的数据导入到 df1 中; -
将列名修改为
['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']
;
计算 df1
的总行数并存储在 length1
中。
测试说明
如果答案正确,则会输出True
。
运行代码
# -*- coding: utf-8 -*-
from pandas import Series,DataFrame
import pandas as pd
def read_csv_data():
'''
返回值:
df1: 一个DataFrame类型数据
length1: 一个int类型数据
'''
# 请在此添加代码 完成本关任务
# ********** Begin *********#
df1=pd.read_csv('test3/uk_rain_2014.csv')#把文件导入df1中
df1.columns = ['water_year','rain_octsep','outflow_octsep','rain_decfeb', 'outflow_decfeb', 'rain_junaug', 'outflow_junaug']
#修改列名 DataFrame类型数据.columns=['填写你修改的名字']
length1=len(df1)
#把df1的长度放在length1中
# ********** End **********#
#返回df1,length1
return df1,length1