学python处理数据_python学习 基于数据的简单处理

import pandas as pd

df = pd.read_excel('E://data//朝阳医院2018年销售数据.xlsx')

df.head() #打印前五行

df.shape #有多少行，多少列

df.dtypes #查看每列的数据类型

colNameDict = {'购药时间':'销售时间'}

#列名重命名

df.rename(columns = colNameDict,inplace=True) #将购药时间改为销售时间 inplace=true表示不创建新的对象直接对原有的数据进行更改，false表示创建新的数据对象

df.head()

#缺失值的处理

print('删除缺失值前的大小',df.shape)

df=df.dropna(subset=['销售时间','社保卡号'],how='any') #删除列（销售时间，社保卡号）中为空的行,其中how='any'意思为给定列中任何一个有空值就删除行

print('删除缺失值后的大小',df.shape)

#数据类型的转换

df['销售数量']=df['销售数量'].astype('float')

df['应收金额']=df['应收金额'].astype('float')

df['社保卡号']=df['社保卡号'].astype('ocject')

##修改日期

def splitsaletime(timeColser):

timelist=[]

for value in timeColser: #例如2018-01-01 星期五 ，分割后为：2018-01-01

dateStr = value.split(' ')[0]

timelist.append(dateStr)

timeSer= pd.Series(timelist) #将列表转行为一维数据series类型

return timeSer

##输入：timecolser--销售时间这一列，是个series数据类型

##输出：分割后的时间，返回也是这个数据类型

timeSer= df.loc[:,'销售时间'] #获取销售时间这一列

dateSer = splitsaletime(timeSer) #对字符串进行分割，获取销售日期

df.loc[:,'销售时间']=dateSer #修改销售时间这一列的值

df.head()

#字符串转换日期

df.loc[:,'销售时间']= pd.to_datetime(df.loc[:,'销售时间'],format='%Y-%m-%d',errors='coerce')

df.dtypes

df=df.dropna(subset=['销售时间','社保卡号'],how='any')

##数据排序

#### 使用pd.sort.values方法进行排序，by表示按照那一列进行排序，ascending=true时表示升序排列，false表示降序排列

print('排序前的数据')

df.head()

df=df.sort_values(by='销售时间',ascending=True)

print('排序后的数据')

df.head()

##排序后的行号乱了，，需要进行重新的排序

df= df.reset_index(drop=True)

df.head()

##异常值的处理，，首先我用describe()方法查看数据框中所有数据每列的描述统计信息、

df.dedscribe() #从结果可以看出销售数量有负值出现，，可能是记录错误，删除

#删除通过条件判断删除

queryser=df.loc[:,'销售数量']>0 #设置查询条件

print('删除异常值之前',df.shape)

df= df.loc[queryser,:] #条件的应用

print('删除异常值之后',df.shape)