机器学习三剑客之Pandas

Pandas是基于Numpy开发出的,专门用于数据分析的开源Python库

Pandas的两大核心数据结构

• Series(一维数据)

• DataFrame(多特征数据,既有行索引,又有列索引)

 

一、生成数据表 

1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用：

import numpy as np
import pandas as pd

2、导入CSV或者xlsx文件：

de = pd.DataFrame(pd.read_csv('excel_to_python.csv',header=1))
df = pd.DataFrame(pd.read_excel('excel_to_python.xlsx'))
print(de,df)

3、用pandas创建数据表：

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 
 "date":pd.date_range('20130102', periods=6),
  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
  "price":[1200,np.nan,2133,5433,np.nan,4432]},
  columns =['id','date','city','category','age','price'])

二、数据表信息查看 

 1 # 维度查看
 2 print(df.shape)
 3 # 数据表基本信息（维度、列名称、数据格式、所占空间等）
 4 print(df.info())
 5 # 每一列数据的格式
 6 print(df.dtypes)
 7 # 某一列格式
 8 print((df['age']).dtype)
 9 # 空值
10 print(df.isnull)
11 # 查看某一列空值
12 print(df.isnull())
13 # 查看某一列的唯一值
14 print(df['age'].unique())
15 # 查看数据表的值
16 print(df.values)
17 # 查看列名称
18 print(df.columns)
19 # 查看前10行数据、后10行数据
20 print(df.head()) #默认前5行数据
21 print(df.tail())  #默认后5 行数据

 三、数据表清洗 

 1 # 用数字0填充空值
 2 print(df.fillna(value=0))
 3 # 使用列prince的均值对NA进行填充
 4 print(df.fillna(df['price'].mean()))
 5 # 清楚city字段的字符空格
 6 print(df['city'].map(str.strip))
 7 # 大小写转换
 8 df['city']=df['city'].str.lower()
 9 print(df)
10 #更改数据格式
11 print(df['price'].astype('int')) #记得有这个方法，我的此处类型错误
12 #更改列名称
13 print(df.rename(columns={'category': 'category-size'}) )
14 #删除后出现的重复值
15 print(df['city'].drop_duplicates())
16 # 删除先出现的重复值
17 print(df['city'].drop_duplicates(keep='last'))
18 # 数据替换
19 print(df['city'].replace('SH', 'shanghai'))

四、数据预处理

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], 
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

1、数据表合并

1 df_inner=pd.merge(df,df1,how='inner')  # 匹配合并，交集
2 df_left=pd.merge(df,df1,how='left')        #
3 df_right=pd.merge(df,df1,how='right')
4 df_outer=pd.merge(df,df1,how='outer')  #并集

2.

 1 # 设置索引列
 2 print(df_inner.set_index('id'))
 3 # 按照特定列的值排序
 4 print(df_inner.sort_values(by=['age']))
 5 # 按照索引列排序
 6 print(df_inner.sort_index())
 7 # 如果prince列的值>3000，group列显示high，否则显示low
 8 df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low')
 9 print(df_inner)
10 # 对复合多个条件的数据进行分组标记
11 df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price'] >= 4000), 'sign']=1
12 print(df_inner)

五、数据提取 

主要用到的三个函数：loc,iloc和ix，loc函数按标签值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。

 1 # 按索引提取单行的数值
 2 print(df_inner.loc[4])
 3 # 按索引提取区域行数值
 4 print(df_inner.iloc[0:2])
 5 # 重设索引
 6 print(df_inner.reset_index())
 7 # 设置日期为索引
 8 df_inner=df_inner.set_index('date')
 9 print(df_inner)
10 # 使用iloc按位置区域提取数据
11 print(df_inner.iloc[:3,:2]) #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。
12 # 适应iloc按位置单独提起数据
13 print(df_inner.iloc[[0,2,5],[4,5]]) #提取第0、2、5行，4、5列
14 # 判断city列的值是否为北京
15 print(df_inner['city'].isin(['beijing']))
16 # 判断city列里是否包含beijing和shanghai，然后将符合条件的数据提取出来
17 print(df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])] )
18 # 提取前三个字符，并生成数据表
19 pd.DataFrame(category.str[:3])

 六、数据筛选 

使用与、或、非三个条件配合大于、小于、等于对数据进行筛选，并进行计数和求和

转载于:https://www.cnblogs.com/yhll/p/9210480.html