Autoleaders算法组——pandas学习笔记

最新推荐文章于 2024-05-30 16:17:47 发布

2301_79758895

最新推荐文章于 2024-05-30 16:17:47 发布

阅读量22

点赞数

文章标签：算法 pandas 学习

本文链接：https://blog.csdn.net/2301_79758895/article/details/134156162

版权

使用前导入pandas和numpy。

import numpy as np
import pandas as pd

然后读取文件

df1=pd.read_csv("df_train_al.csv")
df2=pd.read_excel("C:/Users/X/Jupyter_file/B题/附件/附件1.xlsx",sheet_name="安徽省")
dates = pd.read_csv('dates.txt',names=['coll','col2'],header=None)

创建1个数组举例

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 
 "date":pd.date_range('20130102', periods=6),
  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
  "price":[1200,np.nan,2133,5433,np.nan,4432]},
  columns =['id','date','city','category','age','price'])

二、数据表信息查看
1、维度查看：

df.shape

2、数据表基本信息（维度、列名称、数据格式、所占空间等）：

df.info()

3、每一列数据的格式：

df.dtypes

4、某一列格式：

df['city'].dtype

5、检查数据表中每个元素是否为空值：

df.isnull()

6、查看某一列空值：

df['price'].isnull()

7、查看某一列去重后的数据：

df['B'].unique()

8、查看数据表所有的值：

df.values

9、查看列名称：

df.columns

10、查看前5行数据、后5行数据：

df.head() #默认前5行数据
df.tail() #默认后5行数据

三、数据表去NaN

1、用数字0填充空值：

df.fillna(value=0)

2、取出一列并使用列prince的均值对NA进行填充：

df['price'].fillna(df['price'].mean())

3、清除city字段的字符空格：

df['city']=df['city'].map(str.strip)

例子中的'Beijing '就会变成'Beijing'

4、大小写转换：

df['city']=df['city'].str.lower()

5、更改数据格式：

df['price'].astype('int')

四、数据预处理

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], 
"gender":['male','female','male','female','male','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})

1、数据表合并

①pd.merge()解决左右拼接

df_inner=pd.merge(df,df1,how='inner')  
df_left=pd.merge(df,df1,how='left')        
df_right=pd.merge(df,df1,how='right')
df_outer=pd.merge(df,df1,how='outer')

how='inner'的时候显示两表匹配信息，与交集相似

how='left'的时候是保留左表，把两个表匹配的内容显示出来，左表有但右表没有的显示NaN。how='right'是保留左表，把两个表匹配的内容显示出来，左表有但右表没有的显示NaN。

②pd.concat可解决上下拼接

pd.concat(
     objs,      
     axis=0,     
     join='outer',
     ignore_index=False,
     keys=None,      
     levels=None,     
     names=None,      
     verify_integrity=False,     
     copy=True)

objs：Series，DataFrame或Panel对象的序列或映射，如果传递了dict，则排序的键将用作键参数
axis：{0,1，...}，默认为0,也就是纵向上进行合并。沿着连接的轴。
join：{'inner'，'outer'}，默认为“outer”。如何处理其他轴上的索引。outer为联合和inner为交集。
ignore_index：boolean，default False。如果为True，请不要使用并置轴上的索引值。结果轴将被标记为0，...，n-1。如果要连接其中并置轴没有有意义的索引信息的对象，这将非常有用。注意，其他轴上的索引值在连接中仍然受到尊重。
keys：序列，默认值无。使用传递的键作为最外层构建层次索引。如果为多索引，应该使用元组。
levels：序列列表，默认值无。用于构建MultiIndex的特定级别（唯一值）。否则，它们将从键推断。
names：list，default无。结果层次索引中的级别的名称。
verify_integrity：boolean，default False。检查新连接的轴是否包含重复项。这相对于实际的数据串联可能是非常昂贵的。
copy：boolean，default True。如果为False，请勿不必要地复制数据。