我们可以使用pandas完成
1 定义数据结构
1.1 Series
pandas主要的数据结构是 Series (一维数据)与 DataFrame(二维数据)。
Series (一维数据):可以是数字(整数、浮点数等)、字符串、列表,元组,字典等python对象。series的每个值都有一个索引,默认从0开始。具有不变性(创建后大小不变)。
pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False)
data可以是列表[1,2,3]
pd.Series([1,2,3])
可以是字符串[“a”,"b","c"]
pd.Series(["a","b","c"])
可以是数组np.array([1, 2, 3])
pd.Series(np.array([1, 2, 3]))
可以是字典{1: "a", 2: "b", 3: "c"}
,这种方式把索引指定为1,2,3。
pd.Series({1:"a",2:"b",3:"c"})
1.2 Dataframe
Dataframe(二维数据)是一个二维的表格,有许多有序的列,每列的数据类型可以不一样,可以是数字(整数、浮点数等)、字符串、列表,元组,字典等python对象。Dataframe的每行每列分别有一个索引,默认从0开始。具有可变性!
pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
data可以是二维列表[["a",1],["b",2],["c",3]]
,每一行都是一个列表
pd.DataFrame([["a",1],["b",2],["c",3]], columns=['abc', '123'])
data可以是二维数组np.array([[1,2],[3,4],[5,6]])
。
pd.DataFrame(np.array([[1,2],[3,4],[5,6]]), columns=['col1', 'col2'])
data可以是字典 {'Sex':["f", "f", "m"], 'Age':[10, 12, 13]}
,字典的键将成为列名,字典的值将成为数据,这种方式需要值的长度一样。
pd.DataFrame({"Sex":["f","f","m"],"Age":[10,12,13]})
colomns是列名,可以是字典的键的子集或者排序,实现对数据的筛选和排序。
若数据有NaN值,可以:
pd.DataFrame([{"Sex":"f","Age":10},{"Sex":"f","Age":65,"edu":65}])
2 读取和保存文件
载入csv文件
import pandas as pd
df = pd.read_csv('data.csv')
输出csv文件
df.to_csv('data1.csv')
#将 DataFrame 存储为 csv 文件
3 读取数据格式
一些常用的代码:
data.head(10)
#读取前10行,不填默认为5
data.tail(10)
#读取尾部10行,不填默认为5
data.info()
#读取数据基本信息,多少行多少列和每一列数据类型。有多少空值
data.shape
data.index
#索引
data.colomns
#列名
4 访问某个位置的元素
4.1 读取数据某一列:
data["Sex"]
4.2 访问具体某个位置的元素:
有两种方式,一种是.iloc访问索引整数,一种是.loc是访问列标签
.iloc[] #访问位置 是具体的整数
data.iloc[:,0] #第一列的所有行
data.iloc[:,0:1]#第一列的所有行,注意在python里区间是不包含最后一个元素的,并且把0当作初始值
data.iloc[0,1]
#第一行第二列的元素
.loc #访问标签 即列索引 列名
data.loc[0,'Sex']
#sex列所有行
data.loc[0,"Sex"]
#具体数值
5 修改数据
5.1 增减列
修改某一列的数据
data['Sex']=['m','m']
加新的一列
data['value']=[10,1]
加新的一行
data.loc[3]=['f',10,2,1]
5.2 删除行列
删除某列元素
data.drop('Sex',axis=1)
删除某行元素
data.drop(0)
5.3 索引和切片
提取多列
提取多行
5.4 数据分析
描述性统计
data.describe()