python excel数据处理可视化_Python进行数据处理(对比Excel)

9d7715394cdfca06e3c63f9b8497ae28.png

3fc8a832ab2863ea1ad29e1747f9122a.png

一、查找重复值

既然我们这个系列是对比Excel,那么在Excel里是怎么查找重复值的呢?有很多种方法,这里就简单说一种:条件格式。在【开始】——【条件格式】里选择突出显示重复值,就将重复的值突出显示出来了:

8b394cc0ad40d7cd9d5785d2715b88c4.png

Pandas里如何查找重复值呢?

1、查找所有列

duplicated方法查找重复值,和isnull一样,得到的结果是布尔值,如果重复被标记为True,否则为False

# 查看所有列都重复的数据
df_list.duplicated()

结果如下,得到的是一个序列,通过True/False来查看哪些行完全重复。

6c0dddea4a77a99e41932e14256b4578.png

也可以把它具体的位置找出来:

# 定位出所有列都重复的行
df_list[df_list.duplicated()]

结果是一个空行,说明这个数据集里没有所有列都重复的行

c87a39f38dfc4e35b66a94b6caa8b958.png

2、查找单独列

对重复值的判断有时不需要判断所有列,只需要对某一列进行判断,还是用duplicated方法查找,如查找id列是否重复

# 查找id列是否重复
df_list[df_list.duplicated(["id"])]

结果为空,说明id列是唯一标识。

2cd6ef5fde1755088026d782e710a348.png

二、重复值的处理

对重复值的处理,就是删除

在Excel里专门有一个删除重复值的功能,用这个功能就可以将某一列的重复值删除,只保留不重复的值:

7280119e6d13ab3e61e38a46d039693c.png

在Panda里用到drop_duplicates方法来删除重复值。

1、所有列去重

对所有列都重复的行去重

# 所有列去重
df_list = df_list.drop_duplicates()
df_list.head()

2、某一列去重

对某一列重复的行去重,添加subset参数

# 某一列去重
df_list.drop_duplicates(subset = "id")

3、某几列去重

对要去重的几列的列名用列表框起来,subset参数名可以不写

# 某几列去重
df_list.drop_duplicates(["id","name"])

4、去重后保留最后一个值

以上去重时默认都是保留第一个重复的值,但如果想要保留最后一个重复的值呢,添加keep参数,让keep = "last"

# 保留最后一个值
df_list.drop_duplicates(["id","name"],keep = "last")

5、查找后定位的方法去重

前面介绍了查找重复值用到的duplicated方法,那么也可以用这个方法直接去重。df_list[df_list.duplicated(["id","name"])]是定位出重复值,加个取反的符号df_list[~df_list.duplicated(["id","name"])]就将不重复的值取出来了,也就是去重了。

# 查找后定位去重
df_list[~df_list.duplicated(["id","name"])]

三、类型转换

这个案例里last_review字段应该是日期时间的类型,但在这里是字符型展示,因此要把字符型转换成日期时间类型的数据,使用to_datetime方法,它有两个参数,第一个参数是要转换的列,第二个参数是设置日期时间格式。

0afced3cabe629db101e82a330e7991f.png
# 字符转时间
df_list["last_review"] = pd.to_datetime(df_list["last_review"],
                                 format = "%Y/%m/%d")
df_list.info()

结果如下,可以看到这一列已经由原先的字符型转化为了时间型。

559eab539b3a84cba14c0c96652dd047.png

类型转换还可以将字符转数值,数值转字符,用到astype(dtype)方法,dtype参数表示要转换的数据类型,整型为int,小数型位float,字符型为str

# 数值转字符
df_list["id"].astype(str).dtype

如把id列的整型转为字符型,可以看到转换话数据类型为Object。

48893e47f8b378b7b83c3d93ef9dd647.png

四、字段拆分

发现这里neighbourhood字段是“朝阳区 / Chaoyang ”形式,只想要保留“/”符号前的字段,因此需要对这个字段进行拆分,在Excel里拆分很简单,就用【数据】选项卡中的【分列】功能即可,分割符号选择“/”。

4629f47af158c3330d3f313f86a30497.png

在pandas里我们用split方法来拆分

# 字段拆分
new_neighbor = df_list["neighbourhood"].str.split("/",1,True)
df_list[["neighborhood_new","neighbor2"]] = new_neighbor
df_list

第一个参数是指定分隔符,第二个参数填的是1,表示分割成1+1=2列,第三个参数填True,表示展开为数据框,默认是False,所以一般填True,结果如图

aa1cc33ba152bc390e6fb025000dc3aa.png

同样地把room_type这个字段也拆分一下

new_room_type = df_list["room_type"].str.split("/",1,True)
df_list[["room_type_new","room_type2"]] = new_room_type
df_list

结果如图:

b339c0ebb3b8b2ae2af25b0adb61f8b9.png
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页