pandas 数据去重

数据源下载 看案例1

# -*- codeing = utf-8 -*-
import pandas as pd

# 读取csv格式的数据
df = pd.read_csv("../data/IMDB-Movie-Data.csv")
# 去重 统计导演的人数 法1
director_count1 = len(set(df['Director'].tolist()))
print(director_count1)
# 去重 统计导演的人数 法2
director_count2 = len(df['Director'].unique())  # unique()只能用在series上 并且是一维的
print(director_count2)
# 去重 获取演员的人数
actors_list = df['Actors'].str.split(", ").tolist()
actors_count = len(set(j for i in actors_list for j in i))
print(actors_count)

数据形式 看案例2

# -*- codeing = utf-8 -*-
import pandas as pd

df = pd.read_csv('../data/911.csv')
temp_list = df['title'].str.split(": ").tolist()
# 去重 统计报警类别的次数
category_count = len(set(i[0] for i in temp_list))
print(category_count)