python(21)-pandas-常用函数

 pandas常用函数

1.导入
2.数据清洗、预处理
3.数据分类、筛选
4.数据统计
5.导出

---

def main():
    #1.导入与查看
    df=pd.DataFrame(pd.read_csv('',header=1))
    df = pd.DataFrame(pd.read_excel(""))
    df=pd.DataFrame({"id":[1001,1002,1003],
                     "date":pd.range("20191220",periods=6),
                     "city":["beijing","nanjing","shanghai"],
                     "value":[10.12,20.23,30.34]
                     },
                    columns=["id","date","city","value"])
    print(df.shape)           #查看行列
    df.info()
    df.head()
    print(df.shape)           #数据格式 int64..
    print(df.isnull())        #检查数据空值
    print(df['city'].isnull())#查看特定列空值
    print(df['city'].unique())#查看特定列唯一值
    print(df.value)           #查看数据表值
    print(df.colums)          #查看列名
    print(df.tail(3))         #查看后3行


    #2. 数据清洗、预处理
    df.dropna(how="any")                  #删除表中含有空值的行
    df.fillna(value=0)                    #0填充表中空值
    df["value"].fillna(df["value"].mean())#均值填充
    df["city"].fillna(df["city"].map(str.strip))  #清除字段中的字符空格
    df["city"]=df["city"].str.lower()             #大小写转换
    df["value"].astype('int')                     #更改数据格式
    df.rename(colums={"value":"value-2"})         # 更改列名
    df["value"].drop_duplicates()                 #删除重复值
    df["city"].replace("beijing","beijing2")      # 数据替换

    df1=pd.DataFrame({"id":[1001,1002,1003],
                     "gender":["male","female"],
                     "pay":["y","n","y"],
                     "m-point":[10.12,20]
                     },
                    )
    df_inner=pd.merge(df,df1,how="inner")
    df_left=pd.merge(df,df1,how="left")
    df_right = pd.merge(df, df1, how="right")
    df_outer = pd.merge(df, df1, how="outer")

    df.inner.set_index("id")          #设置索引
    df.inner.sort_value(by=["age"])  # 特定列的值排序


    #3. 数据分类、筛选
    df_inner['group']=np.where(df_inner['price']>3000,"high","low") #price>3000 group 显示high 否则显示low
    df_inner.loc[(df_inner['city']=="beijing")&(df_inner['price']>=4000),'sign']=1  #复合条件的数据进行分组标记
    print(df_inner.loc[3])     #索引提取单行的数值
    print(df_inner.loc[0:5])   #区间取值
    df_inner.reset_index()     #重设索引
    df_inner=df_inner.reset_index("date")#设置日期为索引
    print(df_inner[:"20191228"] ) #提取28号前的所有数据
    print(df_inner.iloc[:3,:2])   #按位置提取数据
    print(df_inner.iloc[[0,2,3], [2,3]])  # 按位置单独提取数据

    df_inner['city'].isin(["beijing"])#city列的值是否为beijng

    df_inner.groupby("city").count()  #对所有列进行计数汇总
    df_inner.groupby("city")["id"].count()  # 对所有列进行计数汇总
    df_inner.groupby(["city",'value'])["id"].count()

    #4.数据统计
    df_inner.sample(n=3)                 #简单的数据采样
    weights=[0,0,0,0,0.5,0.5]            #手动设置采样权重
    df_inner.sample(n=2,weights=weights)

    df_inner.sample(n=6,replace=False)   #采样后不放回
    df_inner.sample(n=6, replace=True)   #采样后放回

    print(df_inner.describe().round(2).T )       #描述性统计
    print(df_inner['value'].corr(df_inner["city"]))   # 相关性分析
    print(df_inner['value'].corr())


    #5.写入EXCEL
    df_inner.toexcel("save_excel.xlsx",sheet_name="mysheet")
    df_inner.to_csv("save_excel.csv")



    pass
if __name__=="__main__":
    main()