pandas对dataframe对象完成空列和列值相同的处理

pandas对dataframe对象完成空列和列值相同的处理

1.利用pandas对mysql数据库数据完成读取

import pandas as pd
import numpy as np
from sqlalchemy import create_engine #导包，完成对相应数据库读取的准备
engine=create_engine('mysql+pymysql://root:123456@localhost:3306/data_fenxi?charset=utf8') #创建数据库连接引擎和对应数据库的链接
data=pd.read_sql_table('meal_order_detail1',con=engine) #这里直接用的是pandas提供的对数据库表的读取，前提是熟悉自己的mysql数据库

2.利用pandas读取数据库数据后，这里我们就对列进行基本的空值和同值处理

1.首先我们要了解Dataframe对象的columns的相关类型查询

dataframe.describe()  # 完成对每个列的类型查看
dataframe.info() # 是对表的具体信息的查询，清晰的看出是否存在缺失值情况
# ndim  size  shape 等都是dataframe基本属性的查看 

2.dataframe的数据描述性信息只能针对数值型特征，相关列转类型如下

data['detail']=data['detail'].astype('int') # 这里就只举例转成整型，当然转成浮点型也是可以的

3.describe()默认只对数值型特征进行相关聚合函数的统计，利用描述性信息进行的列基本处理如下：

def Dropnullstd(datas):
    beforelen=datas.shape[1]
    null_columns=datas.describe().loc['count']==0
    for i in range(len(null_columns)):
        if null_columns[1]:
            datas.drop(null_columns.index[i],axis=1,inplace=True)
    stdzero=datas.describe().loc['std']==0
    for j in range(len(stdzero)):
        if stdzero[j]:
            datas.drop(stdzero.index[j],axis=1,inplace=True)
    afterlen=datas.shape[1]
    print('删除的列数为:',beforelen-afterlen)
    print('删除空列和相同列后的形状为:',datas.shape)