机器学习（深度学习）笔记—第4章-Pandas基础相关

机器学习（深度学习）笔记@奔跑的Mir.Wang

第4章 Pandas基础相关

#pandas是进行数据处理的库，使得数据满足建模需求
1.pandas数据读取
import pandas#导入pandas包
info=pandas.read_csv(“hello.csv”)#读取csv文件
#pandas核心结构DataFrame
type(info)#DataFrame结构
info.dtypes#info中数据特征数据类型，此处Object类型表示String类型
help(pandas.read_csv)#打印帮助信息
info.head(3)#显示前3行数据，如果不填默认显示5行
info.tail(3)#显示后3行数据，如果不填默认显示5行
info.columns#显示所有列名
info.shape#显示读进来的数据规模（几个样本，每个样本有多少特征）
2.pandas索引与计算
info.loc[0]#第一条数据
pandas数据类型：
object#String类型
int
float
datetime
bool
info.loc[3:6]#按行取数据（取样本）
info.loc[2,5,10]#按行取数据（取样本）
ff=info[‘lieming’]#通过列名取列数据（取特征）
list=[‘wendu’,‘shidu’]
ff=info[list]#通过列名取列数据（取特征）
info.columns.tolist()#列名转换成列表
info[‘zhiliang_kg’]/1000#单位转换，计算方法与numpy相同
info[‘zhiliang_kg’]*info[‘zhiliang1_kg’]/#对应位置相乘
info[‘heheh’]=ll#新增一列，并赋值
info[‘zhiliang_kg’]+info[‘zhiliang1_kg’]/#对应位置相加
info[‘heheh’].max()#一列中的最大值
info.sort_values(‘zhiliang_kg’,inplace=True，ascending=False)#排序，inplace指定在原列上排，还是重新生成新的排序列,ascending指定排序方式（从大到小还是从小到大，默认从小到大）
NaN#表示缺失值
——————————————————————————
pandas数据处理实例
import pandas as pd
age=mydata[‘age’]
age_isnull=pd.isnull（age）False#判断是否是缺失值，返回True或False
age_null_true=age[age_isnull]#取出所有缺失值
——————————————————————————
pandas常用数据处理方法
sum(mydata[‘age’])#求和
good_ages=mydata[‘age’][age_isnull==false]#取出所有的age非NaN数据
mydata[‘age’].mean()#求均值
#NaN数据可以去掉、或者填充等操作
mydata.pivot_table(index=‘pclass’,values=[‘fare’,‘survived’],aggfunc=np.mean)#统计表(数据透视表)，aggfunc默认为np.mean
fillna#填充NaN数据
mydata.dropna(axis=1)#去掉含NaN的样本
mydata.dropna(axis=0,subset=[‘age’,‘sex’])#去掉含NaN的样本
mydata.loc[50,‘age’]#定位到第50个样本的age数据
mydata.reset_index(drop=True)#重置索引，并删除原来的索引
——————————————————————————
pandas自定义函数
def hundredth_row(column):
a=column.loc[99]
return a
b=mydata.apply(hundredth_row)
——————————————————————————
Series结构
DataFrame的一行或者一列就是一个Series
from pandas import Series
#Series.values的类型为ndArray
Series(数据，index=索引)#构建一个Series
sort_index
sort_values
set_index
np.std()#计算标准差