Python每日一记4>>>数据去重set/drop_duplicates

数据去重：
1、利用set()集合的特性进行去重，去重后顺序不固定，这是最大的问题。
2、pandas drop_duplicates方法进行去重，其中的参数subset表示需要去重的列，如果是多列，则需要用列表表示，keep参数可以选择保留第一个或者最后一个或者都不保留，inplace参数表示是否在原表进行操作。
优先使用drop_duplicates方法
另外一个问题是如何找出重复的值呢？我们可以使用duplicated
pandas.DataFrame.duplicated(self, subset=None, keep=‘first’)
重复标记为true,否则标记为false
其中参数意义：
subset：用于识别重复的列标签或列标签序列，默认所有列标签
keep=‘frist’：除了第一次出现外，其余相同的被标记为重复
keep=‘last’：除了最后一次出现外，其余相同的被标记为重复
keep=False：所有相同的都被标记为重复
最后依据标记再去筛选为FALSE的行，就能找出所有的重复记录啦。