Python数据分析基础_第4节：数据清洗

最新推荐文章于 2023-12-07 01:06:06 发布
最新推荐文章于 2023-12-07 01:06:06 发布
阅读量937 收藏 5
点赞数 1
文章标签： python 数据清洗 pandas 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muyashui/article/details/105007959
版权

数据清洗

# 示例数据
import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randint(10,100,(10,3)), columns=list('ABC'))
df.iloc[3:5, 0] = np.nan
df.iloc[4:6, 1] = np.nan
df.iloc[5:8, 2] = np.nan
df.head()
ABC
022.063.041.0
150.057.012.0
231.082.071.0
3NaN80.082.0
4NaNNaN49.0

缺失值

  • isnull()：判断是缺失值
  • notnull()：判断不是缺失值
  • fillna()：缺失值填充
  • dropna()：删除缺失值

缺失值判断

# 判断是否为缺失值 ,常用于筛选
df['A'].isnull()

0    False
1    False
2    False
3     True
4     True
5    False
6    False
7    False
8    False
9    False
Name: A, dtype: bool

# 判断是否为缺失值 ,常用于筛选
df['A'].notnull()

0     True
1     True
2     True
3    False
4    False
5     True
6     True
7     True
8     True
9     True
Name: A, dtype: bool

# 计算缺失值的个数
df['A'].isnull().value_counts()

False    8
True     2
Name: A, dtype: int64

# 查看所有变量非缺失值个数
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 10 entries, 0 to 9
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   A       8 non-null      float64
 1   B       8 non-null      float64
 2   C       7 non-null      float64
dtypes: float64(3)
memory usage: 368.0 bytes

缺失值填充 丨★★

# 所有缺失值都填充为0，不常用。一般只针对某个变量进行填充
df.fillna(0)
ABC
022.063.041.0
150.057.012.0
231.082.071.0
30.080.082.0
40.00.049.0
544.00.00.0
661.086.00.0
725.017.00.0
853.051.084.0
944.036.054.0
# A列缺失值为空的填充为999
df['A'].fillna(999,inplace=True)
df
ABC
022.063.041.0
150.057.012.0
231.082.071.0
3999.080.082.0
4999.0NaN49.0
544.0NaNNaN
661.086.0NaN
725.017.0NaN
853.051.084.0
944.036.054.0
# B列填充为平均值
df['B'].isnull().value_counts()     # 有几个缺失值  必须带()  
df['B'].mean()    # B平均值多少

59.0

# 填充缺失值
df['B'].fillna(df['B'].mean(),inplace=True)
df
ABC
022.063.041.0
150.057.012.0
231.082.071.0
3999.080.082.0
4999.059.049.0
544.059.0NaN
661.086.0NaN
725.017.0NaN
853.051.084.0
944.036.054.0

缺失值删除 丨★★★

# 删除有缺失值的行，不常用。
df.dropna()    # 默认是0
ABC
022.063.041.0
150.057.012.0
231.082.071.0
3999.080.082.0
4999.059.049.0
853.051.084.0
944.036.054.0
# 删除有缺失值的列，不常用
df.dropna(axis=1)
AB
022.063.0
150.057.0
231.082.0
3999.080.0
4999.059.0
544.059.0
661.086.0
725.017.0
853.051.0
944.036.0
# 删除C列为缺失值的行
# df['C'].dropna(inplace=True)  错误写法，也不报错
df.dropna(subset=["C"],inplace=True)    # []不能少   ★★★
df
ABC
022.063.041.0
150.057.012.0
231.082.071.0
3999.080.082.0
4999.059.049.0
853.051.084.0
944.036.054.0
df.dropna(how="all")   # 删除全为空的行
df.dropna(thresh=2)    # 删除缺失值个数大于2的
ABC
022.063.041.0
150.057.012.0
231.082.071.0
3999.080.082.0
4999.059.049.0
853.051.084.0
944.036.054.0

重复值

# 示例数据
import pandas as pd
import numpy as np
np.random.seed(10)  # 确保每次生成的随机数都是一样的
df = pd.DataFrame(np.random.randint(80,100,(10,3)),columns=['A','B','C'])
df
ABC
0898495
1809796
2978889
3809088
4849996
5849591
6918188
7849497
8999385
9939993

重复值判断 丨★★

# 筛选重复数据，
df[df.duplicated(subset='A',keep=False)]    # False(都不删除)  'first'(删除第一条)  'last'(删除最后第一条)
ABC
1809796
3809088
4849996
5849591
7849497
# 判断重复值，第一次出现的为False
df['A'].duplicated()

0    False
1    False
2    False
3     True
4    False
5     True
6    False
7     True
8    False
9    False
Name: A, dtype: bool

# 去掉重复值
df['A'].unique()   

array([89, 80, 97, 84, 91, 99, 93])

重复值删除 丨★★★

# 一个字段判断
df.drop_duplicates('A',inplace=True)
df
ABC
0898495
1809796
2978889
4849996
6918188
8999385
9939993
# 多个字段判的
df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
df
ABC
0898495
1809796
2978889
4849996
6918188
8999385
9939993

数据替换

# 示例数据
import pandas as pd
grades = [48, 99, 75, 80, 42, 80, 72, 68, 36, 78]
df = pd.DataFrame({'ID': ["N2000%d" % r for r in range(10)],
                    '性别': ['F', 'M', 'F', 'M', 'F','M', 'F', 'M', 'M', 'M'],
                    '考试年份': ['2007', '2007', '2007', '2008', '2008', '2008', '2008', '2009', '2009', '2009'],
                    '科目': ['代数', '统计', '生物', '代数','代数', '统计', '统计', '代数','生物', '生物'],
                    '是否参加': ['yes', 'yes', 'yes', 'yes', 'no','yes', 'yes', 'yes', 'yes', 'yes'],
                     '是否通过': ['yes' if x > 50 else 'no' for x in grades],
                     '是否录用': [True, True, True, False,False, False, False, True, True, False],
                     '得分': grades})
df
ID性别考试年份科目是否参加是否通过是否录用得分
0N20000F2007代数yesnoTrue48
1N20001M2007统计yesyesTrue99
2N20002F2007生物yesyesTrue75
3N20003M2008代数yesyesFalse80
4N20004F2008代数nonoFalse42
5N20005M2008统计yesyesFalse80
6N20006F2008统计yesyesFalse72
7N20007M2009代数yesyesTrue68
8N20008M2009生物yesnoTrue36
9N20009M2009生物yesyesFalse78

一对一或者多对一替换 丨★★★

df['科目'].replace(['代数','统计'],'数学',inplace=True)
df
ID性别考试年份科目是否参加是否通过是否录用得分
0N20000F2007数学yesnoTrue48
1N20001M2007数学yesyesTrue99
2N20002F2007生物yesyesTrue75
3N20003M2008数学yesyesFalse80
4N20004F2008数学nonoFalse42
5N20005M2008数学yesyesFalse80
6N20006F2008数学yesyesFalse72
7N20007M2009数学yesyesTrue68
8N20008M2009生物yesnoTrue36
9N20009M2009生物yesyesFalse78

多对多替换 丨★★★

df['是否参加'].replace(['yes','no'],['是','否'],inplace=True)
df
ID性别考试年份科目是否参加是否通过是否录用得分
0N20000F2007数学是noTrue48
1N20001M2007数学是yesTrue99
2N20002F2007生物是yesTrue75
3N20003M2008数学是yesFalse80
4N20004F2008数学否noFalse42
5N20005M2008数学是yesFalse80
6N20006F2008数学是yesFalse72
7N20007M2009数学是yesTrue68
8N20008M2009生物是noTrue36
9N20009M2009生物是yesFalse78

map丨★★★

df['性别'] = df['性别'].map(lambda x: 'F' if x==1 else 'M')
df
ID性别考试年份科目是否参加是否通过是否录用得分
0N20000M2007数学是noTrue48
1N20001M2007数学是yesTrue99
2N20002M2007生物是yesTrue75
3N20003M2008数学是yesFalse80
4N20004M2008数学否noFalse42
5N20005M2008数学是yesFalse80
6N20006M2008数学是yesFalse72
7N20007M2009数学是yesTrue68
8N20008M2009生物是noTrue36
9N20009M2009生物是yesFalse78

loc原地替换 丨★

df.loc[df['是否通过']=='yes', '是否通过'] = '是'
df.loc[df['是否通过']=='no', '是否通过'] = '否'
df
ID性别考试年份科目是否参加是否通过是否录用得分
0N20000M2007数学是否True48
1N20001M2007数学是是True99
2N20002M2007生物是是True75
3N20003M2008数学是是False80
4N20004M2008数学否否False42
5N20005M2008数学是是False80
6N20006M2008数学是是False72
7N20007M2009数学是是True68
8N20008M2009生物是否True36
9N20009M2009生物是是False78

字典方式替换

df['性别'].replace({'F':1, 'M':0},inplace=True)
df
ID性别考试年份科目是否参加是否通过是否录用得分
0N2000002007数学是否True48
1N2000102007数学是是True99
2N2000202007生物是是True75
3N2000302008数学是是False80
4N2000402008数学否否False42
5N2000502008数学是是False80
6N2000602008数学是是False72
7N2000702009数学是是True68
8N2000802009生物是否True36
9N2000902009生物是是False78

字符串处理

字符串拆分 丨str.split() 丨★★★

# 示例数据
import pandas as pd
import numpy as np

s2 = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'])
s3 = s2.str.split('_')   # ★★★
s3

0    [a, b, c]
1    [c, d, e]
2          NaN
3    [f, g, h]
dtype: object

s2.str.split('_').str.get(1)

0      b
1      d
2    NaN
3      g
dtype: object

s2.str.split('_').str[1]    # ★★★

0      b
1      d
2    NaN
3      g
dtype: object

s2.str.split('_', expand=True)   #展开
012
0abc
1cde
2NaNNaNNaN
3fgh
s2.str.split('_', expand=True, n=1)
01
0ab_c
1cd_e
2NaNNaN
3fg_h

去除空格 丨str.strip() 丨★★★

# 示例数据
s1 = pd.Series([' jack', 'jill ', ' jesse ', 'frank'])
s1

0       jack
1      jill 
2     jesse 
3      frank
dtype: object

# 除去左右两侧空格，中间的空格不变
s1.str.strip()

0     jack
1     jill
2    jesse
3    frank
dtype: object

# 除去左侧空格
s1.str.lstrip()

0      jack
1     jill 
2    jesse 
3     frank
dtype: object

# 除去右侧空格
s1.str.rstrip()

0      jack
1      jill
2     jesse
3     frank
dtype: object

# 示例数据
df = pd.DataFrame(np.random.randn(3, 2),columns=[' Column A ', ' Column B '], index=range(3))
df
Column AColumn B
0-1.2542420.331579
1-0.308600-0.153735
20.678931-1.913554
df.columns = df.columns.str.strip().str.lower().str.replace(' ', '_')   # 注意三个str
df
column_acolumn_b
0-1.2542420.331579
1-0.308600-0.153735
20.678931-1.913554

转换成小写 丨str.lower()

s1.str.lower()

0       jack
1      jill 
2     jesse 
3      frank
dtype: object

转换成大写 丨str.upper()

s1.str.upper()

0       JACK
1      JILL 
2     JESSE 
3      FRANK
dtype: object

格式化

name = '张三'
area = '中国'
weight = 60
height = 170

# %方式
print('姓名%s，来自%s,体重%i,身高%i' %(name,area,weight,height))
print('姓名%s，来自%s,体重%.2f,身高%.2f' %(name,area,weight,height))

姓名张三，来自中国,体重60,身高170
姓名张三，来自中国,体重60.00,身高170.00

删除行列

# 示例数据
import pandas as pd
import numpy as np
df =  pd.DataFrame(np.random.normal(10,2,(4,4)),columns=['A','B','C','D'])
df
ABCD
08.1150846.5089147.9581099.675862
18.68405810.84422611.24804711.003280
211.6828696.71950012.1160109.816431
38.5519319.19907910.89064911.919879
# 删除A列，但不改变源数据
df.drop('A',axis=1)
BCD
06.5089147.9581099.675862
110.84422611.24804711.003280
26.71950012.1160109.816431
39.19907910.89064911.919879
# 删除A列，且改变源数据
df.drop('A',axis=1,inplace=True)

# 删除所有为1的行，axis=0 可不写 ，当删除多行是用列表
df.drop(1)
BCD
06.5089147.9581099.675862
26.71950012.1160109.816431
39.19907910.89064911.919879

更改列名 丨★★★

# 示例数据
import pandas as pd
import numpy as np
df =  pd.DataFrame(np.random.normal(10,2,(4,4)),columns=['A','B','C','D'])
df
ABCD
07.30729214.03779912.1647536.428564
19.4553269.41926313.3122947.530863
27.88463110.2768289.8282009.727539
37.72577011.2762729.0167927.507430
# 方法1：
df.columns= ['a','b','c','d']  # 列名的个数 = 字段个数
df
abcd
07.30729214.03779912.1647536.428564
19.4553269.41926313.3122947.530863
27.88463110.2768289.8282009.727539
37.72577011.2762729.0167927.507430
# 方法2：字典，可单个修改
df.rename(columns = {'a':'aa'},inplace=True)   # columns不能少  ★★★
df
aabcd
07.30729214.03779912.1647536.428564
19.4553269.41926313.3122947.530863
27.88463110.2768289.8282009.727539
37.72577011.2762729.0167927.507430

改变列的格式 丨★★

# 示例数据
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5,3),columns=['A','B','C'])
df
ABC
00.2248730.1146490.583017
10.2326410.5565180.523811
20.3509580.7053320.820704
30.1345630.6047260.283148
40.5064080.0384600.332444
# A列转未字符串
df['A'] = df['A'].astype('str')
df.dtypes

A     object
B    float64
C    float64
dtype: object

# 字符串相加
df['A'].sum()

'0.224872802469813340.232641062735879140.3509582237713720.134563003464316160.5064078198775632'

# 数值求和
df['B'].sum()

2.01968518853518

df['B%'] = df['B'].apply(lambda x: '%.2f%%' % (x*100))
df
ABCB%
00.224872802469813340.1146490.58301711.46%
10.232641062735879140.5565180.52381155.65%
20.3509582237713720.7053320.82070470.53%
30.134563003464316160.6047260.28314860.47%
40.50640781987756320.0384600.3324443.85%

索引

设置索引丨set_index() 丨★

# 模拟数据
from faker import Faker
fake=Faker(locale='zh_CN')
Faker.seed(10000)   # 每次随机数不变

import pandas as pd
import numpy as np
import random
random.seed(10000)   # 每次随机数不变

data = pd.DataFrame()
for i in range(100):
    datai = pd.DataFrame({'编号': "N2020_%d" % (i),
                          '姓名':fake.name(),
                          '性别':np.random.choice(['男','女']),
                          '省份':fake.province(),
                          '公司':fake.company(),
                          '身份证号':fake.ssn(),
                          '邮箱':fake.safe_email(),
                          '手机号':fake.phone_number(),
                          '年龄':np.random.randint(30,50,1),
                          '完成率':np.random.random(),
                          '日期':fake.date_time(),
                         '销售':fake.numerify()},
                         index = [i])
    data = data.append(datai)
data.head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
3N2020_3王玉华女台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922
data1 = data.set_index('省份')
data1.head()
编号姓名性别公司身份证号邮箱手机号年龄完成率日期销售
省份
四川省N2020_0范金凤女方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
北京市N2020_1李平男东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
福建省N2020_2李林男昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
台湾省N2020_3王玉华女商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
天津市N2020_4赵平女商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922
data2  = data.set_index(['省份','姓名'])
data2.head()
编号性别公司身份证号邮箱手机号年龄完成率日期销售
省份姓名
四川省范金凤N2020_0女方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
北京市李平N2020_1男东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
福建省李林N2020_2男昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
台湾省王玉华N2020_3女商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
天津市赵平N2020_4女商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922

重置索引丨reset_index() 丨★

data1.reset_index().head()
省份编号姓名性别公司身份证号邮箱手机号年龄完成率日期销售
0四川省N2020_0范金凤女方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
1北京市N2020_1李平男东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
2福建省N2020_2李林男昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
3台湾省N2020_3王玉华女商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
4天津市N2020_4赵平女商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922
data2.reset_index(level=1).head()
姓名编号性别公司身份证号邮箱手机号年龄完成率日期销售
省份
四川省范金凤N2020_0女方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
北京市李平N2020_1男东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
福建省李林N2020_2男昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
台湾省王玉华N2020_3女商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
天津市赵平N2020_4女商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922

更新索引丨reindex() 丨★

data3 = data.head()
data3
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
3N2020_3王玉华女台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922
data3.reindex([2,3,0,1,4],fill_value=0) #fill_value 当不存在时显示0
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938430.4950491992-05-08 23:04:30835
3N2020_3王玉华女台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092350.3400371990-02-22 12:35:34589
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059330.3774412009-06-28 16:36:39488
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788430.0642512009-11-25 07:11:24616
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254410.5781362013-12-02 20:31:27922

索引排序丨sort_index()

data1.sort_index(ascending=False).head()
编号姓名性别公司身份证号邮箱手机号年龄完成率日期销售
省份
黑龙江省N2020_75刘鑫女超艺传媒有限公司210701194711181795zhaojun@example.com13228202589470.9748121974-12-29 11:36:42155
黑龙江省N2020_55蒋文男惠派国际公司信息有限公司52272619661221162Xfangchang@example.com18636530837420.3049911971-10-22 00:37:03259
黑龙江省N2020_18郑敏男彩虹信息有限公司410200194702267611gyin@example.org15646946384460.3814121997-04-21 04:29:16132
香港特别行政区N2020_39高洁男商软冠联信息有限公司50011519990112238Xlixue@example.org13209584706340.0170301999-07-18 21:25:45699
香港特别行政区N2020_19梁雪男银嘉科技有限公司330825197106213864yan14@example.org13488583474380.9253571981-10-04 09:20:40994
data2.sort_index(level=1,ascending=False).head()
编号性别公司身份证号邮箱手机号年龄完成率日期销售
省份姓名
台湾省黄燕N2020_87女易动力传媒有限公司370829199012030735yong70@example.com13242323364310.4713651985-08-17 18:52:10408
西藏自治区黄峰N2020_13男良诺科技有限公司510801193903095981leifu@example.net15660156361360.9868892016-03-23 15:45:29291
宁夏回族自治区黄丽丽N2020_11女华远软件传媒有限公司510114196409150161tanchao@example.org18137834227370.8858271987-08-14 18:46:45382
香港特别行政区高洁N2020_39男商软冠联信息有限公司50011519990112238Xlixue@example.org13209584706340.0170301999-07-18 21:25:45699
江苏省马彬N2020_45女凌云信息有限公司36073319691231944Xqiang04@example.net13578076912430.5737761990-01-29 02:45:42160
data2.sort_index(level=[0,1],ascending=[False,False]).head()
编号性别公司身份证号邮箱手机号年龄完成率日期销售
省份姓名
黑龙江省郑敏N2020_18男彩虹信息有限公司410200194702267611gyin@example.org15646946384460.3814121997-04-21 04:29:16132
蒋文N2020_55男惠派国际公司信息有限公司52272619661221162Xfangchang@example.com18636530837420.3049911971-10-22 00:37:03259
刘鑫N2020_75女超艺传媒有限公司210701194711181795zhaojun@example.com13228202589470.9748121974-12-29 11:36:42155
香港特别行政区高洁N2020_39男商软冠联信息有限公司50011519990112238Xlixue@example.org13209584706340.0170301999-07-18 21:25:45699
梁雪N2020_19男银嘉科技有限公司330825197106213864yan14@example.org13488583474380.9253571981-10-04 09:20:40994

数据筛选

# 模拟数据
from faker import Faker
fake=Faker(locale='zh_CN')
Faker.seed(10000)   # 每次随机数不变

import pandas as pd
import numpy as np
import random
random.seed(10000)   # 每次随机数不变

data = pd.DataFrame()
for i in range(100):
    datai = pd.DataFrame({'编号': "N2020_%d" % (i),
                          '姓名':fake.name(),
                          '性别':np.random.choice(['男','女']),
                          '省份':fake.province(),
                          '公司':fake.company(),
                          '身份证号':fake.ssn(),
                          '邮箱':fake.safe_email(),
                          '手机号':fake.phone_number(),
                          '年龄':np.random.randint(30,50,1),
                          '完成率':np.random.random(),
                          '日期':fake.date_time(),
                         '销售':fake.numerify()},
                         index = [i])
    data = data.append(datai)
data.head()
data.to_excel('C:/Users/users/Desktop/Python课件/课件编写/data/p4_数据清洗2.xlsx')

筛选列 丨★★

# 筛选1列
data['姓名'].head(10)

0    范金凤
1     李平
2     李林
3    王玉华
4     赵平
5    陈桂花
6     韦亮
7     钟瑜
8    刘桂花
9    刘桂花
Name: 姓名, dtype: object

# 筛选多列，也可以作为排序用 双中括号  ★★
data[['姓名', '省份']].head(10)
姓名省份
0范金凤四川省
1李平北京市
2李林福建省
3王玉华台湾省
4赵平天津市
5陈桂花河南省
6韦亮福建省
7钟瑜新疆维吾尔自治区
8刘桂花山东省
9刘桂花辽宁省

筛选行

# 1个条件筛选
data[data['省份']=='北京市']
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.0579502009-11-25 07:11:24616
23N2020_23李慧女北京市巨奥信息有限公司450223196310134685bsong@example.com18597786292340.7107521971-10-30 04:34:58785
# 多条件筛选
data[(data['性别']=='男')&(data['省份']=='四川省')]
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
29N2020_29温云男四川省创汇传媒有限公司411621195006187174jun93@example.org15764016109300.0373301995-07-27 08:30:33005
52N2020_52陈秀梅男四川省艾提科信科技有限公司621022196409096901fuxia@example.net18797029868360.7357642014-02-16 02:19:28005
56N2020_56徐艳男四川省超艺网络有限公司230404195602088429ntang@example.org15730053639360.2856401977-07-27 07:27:07782
71N2020_71韩凤英男四川省网新恒天网络有限公司152202194306033785cfeng@example.net13699762247390.0898122019-06-26 04:44:02760
根据内容精确匹配丨isin() 丨★★
# isin()
data[data['省份'].isin(['山东省','四川省'])].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.7009302009-06-28 16:36:39488
8N2020_8刘桂花男山东省恩悌网络有限公司230184197702140647guochao@example.net13310655117340.5167892015-09-29 16:21:28439
29N2020_29温云男四川省创汇传媒有限公司411621195006187174jun93@example.org15764016109300.0373301995-07-27 08:30:33005
35N2020_35宋楠男山东省恒聪百汇网络有限公司370213199602238217yeming@example.com13027921428470.2531791980-10-16 17:48:44451
52N2020_52陈秀梅男四川省艾提科信科技有限公司621022196409096901fuxia@example.net18797029868360.7357642014-02-16 02:19:28005
# isin()
data[data['年龄'].isin([35,36,38])].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.1603482013-12-02 20:31:27922
5N2020_5陈桂花女河南省华泰通安科技有限公司51343219440729157Xtianyan@example.com15115129137350.1766352011-04-05 20:09:54006
6N2020_6韦亮女福建省合联电子科技有限公司610730195403213354yinmin@example.org13680169513360.7135551988-09-08 02:15:10769
7N2020_7钟瑜女新疆维吾尔自治区浙大万朋传媒有限公司632823199206261862qiang32@example.net15636503787350.6155022010-03-08 11:00:32435
10N2020_10林秀兰男吉林省恩悌科技有限公司532524196805192224tao83@example.com14522841055380.5354691970-02-01 06:55:39602
根据内容模糊匹配丨str.contains() 丨★★
# str.contains()
data[data['公司'].str.contains('动力')].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
21N2020_21方琳男青海省易动力网络有限公司130481196911267803kshao@example.com14509729550320.7547242017-12-27 19:42:26277
37N2020_37王梅女辽宁省易动力科技有限公司370812194801193481yan07@example.org18574736528460.7063311972-03-16 17:56:14810
62N2020_62陈梅女四川省易动力网络有限公司341126199909224292naduan@example.org13818527086340.9696331970-02-04 14:33:40411
87N2020_87黄燕女台湾省易动力传媒有限公司370829199012030735yong70@example.com13242323364440.9754041985-08-17 18:52:10408
94N2020_94余建女西藏自治区易动力网络有限公司500120197803071859yzhang@example.com13304313249320.0551062008-05-29 04:44:57194
# str.contains()
data[data['公司'].str.contains('计算机|动力')].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
21N2020_21方琳男青海省易动力网络有限公司130481196911267803kshao@example.com14509729550320.7547242017-12-27 19:42:26277
37N2020_37王梅女辽宁省易动力科技有限公司370812194801193481yan07@example.org18574736528460.7063311972-03-16 17:56:14810
62N2020_62陈梅女四川省易动力网络有限公司341126199909224292naduan@example.org13818527086340.9696331970-02-04 14:33:40411
70N2020_70徐涛女四川省晖来计算机信息有限公司441201195906202227guiying06@example.com13422409521360.3537851994-04-02 12:23:33743
87N2020_87黄燕女台湾省易动力传媒有限公司370829199012030735yong70@example.com13242323364440.9754041985-08-17 18:52:10408
根据字符串长度 丨str.len()
s1.str.len()

0    5
1    5
2    7
3    5
dtype: int64
根据字符串形式 丨str.is*() 丨★★★
# 示例数据
df = pd.DataFrame({'值':['HELLO','world','China','Python',' ','10',100,'字符串','data',np.nan]})
df
值
0HELLO
1world
2China
3Python
4
510
6100
7字符串
8data
9NaN
# #所有字符都是数字或者字母
df['字符串数值或者字母'] = df['值'].str.isalnum() 
df
值字符串数值或者字母
0HELLOTrue
1worldTrue
2ChinaTrue
3PythonTrue
4False
510True
6100NaN
7字符串True
8dataTrue
9NaNNaN
#所有字符都是字母  
df['字母'] = df['值'].str.isalpha()
df
值字符串数值或者字母字母
0HELLOTrueTrue
1worldTrueTrue
2ChinaTrueTrue
3PythonTrueTrue
4FalseFalse
510TrueFalse
6100NaNNaN
7字符串TrueTrue
8dataTrueTrue
9NaNNaNNaN
#所有字符都是数字  
df['字符串数字'] = df['值'].str.isdigit() 
df
值字符串数值或者字母字母字符串数字
0HELLOTrueTrueFalse
1worldTrueTrueFalse
2ChinaTrueTrueFalse
3PythonTrueTrueFalse
4FalseFalseFalse
510TrueFalseTrue
6100NaNNaNNaN
7字符串TrueTrueFalse
8dataTrueTrueFalse
9NaNNaNNaNNaN
# 所有字符都是小写
df['小写字母'] = df['值'].str.islower() 
df
值字符串数值或者字母字母字符串数字小写字母
0HELLOTrueTrueFalseFalse
1worldTrueTrueFalseTrue
2ChinaTrueTrueFalseFalse
3PythonTrueTrueFalseFalse
4FalseFalseFalseFalse
510TrueFalseTrueFalse
6100NaNNaNNaNNaN
7字符串TrueTrueFalseFalse
8dataTrueTrueFalseTrue
9NaNNaNNaNNaNNaN
# 所有字符都为大写
df['大写字母'] = df['值'].str.isupper() 
df
值字符串数值或者字母字母字符串数字小写字母大写字母
0HELLOTrueTrueFalseFalseTrue
1worldTrueTrueFalseTrueFalse
2ChinaTrueTrueFalseFalseFalse
3PythonTrueTrueFalseFalseFalse
4FalseFalseFalseFalseFalse
510TrueFalseTrueFalseFalse
6100NaNNaNNaNNaNNaN
7字符串TrueTrueFalseFalseFalse
8dataTrueTrueFalseTrueFalse
9NaNNaNNaNNaNNaNNaN
# 所有单词都是首字母大写
df['首字母大写'] = df['值'].str.istitle() 
df
值字符串数值或者字母字母字符串数字小写字母大写字母首字母大写
0HELLOTrueTrueFalseFalseTrueFalse
1worldTrueTrueFalseTrueFalseFalse
2ChinaTrueTrueFalseFalseFalseTrue
3PythonTrueTrueFalseFalseFalseTrue
4FalseFalseFalseFalseFalseFalse
510TrueFalseTrueFalseFalseFalse
6100NaNNaNNaNNaNNaNNaN
7字符串TrueTrueFalseFalseFalseFalse
8dataTrueTrueFalseTrueFalseFalse
9NaNNaNNaNNaNNaNNaNNaN
# 所有字符都是空白字
df['空格'] = df['值'].str.isspace() 
df
值字符串数值或者字母字母字符串数字小写字母大写字母首字母大写空格
0HELLOTrueTrueFalseFalseTrueFalseFalse
1worldTrueTrueFalseTrueFalseFalseFalse
2ChinaTrueTrueFalseFalseFalseTrueFalse
3PythonTrueTrueFalseFalseFalseTrueFalse
4FalseFalseFalseFalseFalseFalseTrue
510TrueFalseTrueFalseFalseFalseFalse
6100NaNNaNNaNNaNNaNNaNNaN
7字符串TrueTrueFalseFalseFalseFalseFalse
8dataTrueTrueFalseTrueFalseFalseFalse
9NaNNaNNaNNaNNaNNaNNaNNaN
分组后筛选丨groupby() 丨★★
# 分组后筛选每组第1个
data.sort_values(by='年龄').groupby('省份',as_index=False).first().head()
省份编号姓名性别公司身份证号邮箱手机号年龄完成率日期销售
0上海市N2020_73卢丹女盟新科技有限公司370202194101232333guiyingshi@example.org15682747497350.6910842019-10-02 12:23:51761
1云南省N2020_97陈帅男商软冠联网络有限公司46902319400324717Xcuimin@example.net14529122727370.6357852007-05-29 09:35:04564
2内蒙古自治区N2020_47谭利女时刻网络有限公司140321194101147472yan48@example.org13363990254320.9104022011-11-03 00:34:49373
3北京市N2020_23李慧女巨奥信息有限公司450223196310134685bsong@example.com18597786292340.7107521971-10-30 04:34:58785
4台湾省N2020_61曹凯女南康科技有限公司150502196806098191xiulanpan@example.org13262601832310.6220771983-02-03 04:28:03913
data.groupby('省份',as_index=False).apply(lambda x: x[x['完成率']>0.95]).head()  #为什么两个索引
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
487N2020_87黄燕女台湾省易动力传媒有限公司370829199012030735yong70@example.com13242323364440.9754041985-08-17 18:52:10408
533N2020_33冯璐女吉林省太极科技有限公司411381195107138515pjia@example.org13982410034310.9818352017-07-01 01:55:38507
662N2020_62陈梅女四川省易动力网络有限公司341126199909224292naduan@example.org13818527086340.9696331970-02-04 14:33:40411
951N2020_51李伟男安徽省商软冠联网络有限公司530701193409160440taoduan@example.org15322916084340.9820042006-04-29 07:34:08977
1596N2020_96李淑华女江西省襄樊地球村信息有限公司542431194904214928xiulan99@example.org13447067886310.9669891977-11-06 19:40:07529
loc()
data.loc[data['省份']=='四川省'].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.7009302009-06-28 16:36:39488
29N2020_29温云男四川省创汇传媒有限公司411621195006187174jun93@example.org15764016109300.0373301995-07-27 08:30:33005
52N2020_52陈秀梅男四川省艾提科信科技有限公司621022196409096901fuxia@example.net18797029868360.7357642014-02-16 02:19:28005
56N2020_56徐艳男四川省超艺网络有限公司230404195602088429ntang@example.org15730053639360.2856401977-07-27 07:27:07782
62N2020_62陈梅女四川省易动力网络有限公司341126199909224292naduan@example.org13818527086340.9696331970-02-04 14:33:40411
data.loc[data['年龄']>35].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.7009302009-06-28 16:36:39488
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.0579502009-11-25 07:11:24616
3N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.4495151990-02-22 12:35:34589
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.1603482013-12-02 20:31:27922
6N2020_6韦亮女福建省合联电子科技有限公司610730195403213354yinmin@example.org13680169513360.7135551988-09-08 02:15:10769
data.loc[data['年龄']>35,['姓名','销售']].head()
姓名销售
0范金凤488
1李平616
3王玉华589
4赵平922
6韦亮769
iloc()
data.iloc[[2,3,5],[0,1,2]].head()
编号姓名性别
2N2020_2李林男
3N2020_3王玉华男
5N2020_5陈桂花女
data.iloc[2:,[0,1,2]].head()
编号姓名性别
2N2020_2李林男
3N2020_3王玉华男
4N2020_4赵平女
5N2020_5陈桂花女
6N2020_6韦亮女
data.iloc[[2,3,5],:].head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.6483311992-05-08 23:04:30835
3N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.4495151990-02-22 12:35:34589
5N2020_5陈桂花女河南省华泰通安科技有限公司51343219440729157Xtianyan@example.com15115129137350.1766352011-04-05 20:09:54006

数据排序

# 示例数据
import pandas as pd
import numpy as np
df = pd.DataFrame({'animal': 'cat dog cat fish dog cat cat'.split(),
                   'size': list('SSMMMLL'),
                   'weight': [8, 10, 11, 1, 20, 12, 12],
                   'adult': [False] * 5 + [True] * 2})
df
animalsizeweightadult
0catS8False
1dogS10False
2catM11False
3fishM1False
4dogM20False
5catL12True
6catL12True

单个字段排序

df.sort_values('animal')  # 默认升序
df.sort_values('animal',ascending=False)  # 默认升序
animalsizeweightadult
3fishM1False
1dogS10False
4dogM20False
0catS8False
2catM11False
5catL12True
6catL12True

多个字段排序

df.sort_values(['animal','weight'],ascending=[True,False])
df.sort_values(['animal','weight'],ascending=False).head()
animalsizeweightadult
3fishM1False
4dogM20False
1dogS10False
5catL12True
6catL12True

日期数据

生成日期序列

# pd.date_range()  时间戳
import pandas as pd
dt1= pd.date_range('2018-01-01', periods=10, freq='D')
dt1

DatetimeIndex(['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04',
               '2018-01-05', '2018-01-06', '2018-01-07', '2018-01-08',
               '2018-01-09', '2018-01-10'],
              dtype='datetime64[ns]', freq='D')

# pd.period_range()  时间周期
dt2 = pd.period_range('1/1/2018', freq='D', periods=10)
dt2

PeriodIndex(['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04',
             '2018-01-05', '2018-01-06', '2018-01-07', '2018-01-08',
             '2018-01-09', '2018-01-10'],
            dtype='period[D]', freq='D')

设置为日期格式丨★★★

# 示例数据
import pandas as pd
import numpy as np
df = pd.DataFrame({'日期':['2020-3-1%i'% i for i in range(10)],
                  '值':np.random.randint(80,100,10)})
df.head()
日期值
02020-3-1082
12020-3-1192
22020-3-1289
32020-3-1383
42020-3-1487
df.dtypes

日期    object
值      int32
dtype: object

# 方式1
df['日期_to_datetime'] = pd.to_datetime(df['日期'])  
# errors='ignore'无法转换时显示原始值，结果格式不变
# errors = 'coerce':无法转换时，返回错误值，结果为时间格式
df
日期值日期_to_datetime
02020-3-10822020-03-10
12020-3-11922020-03-11
22020-3-12892020-03-12
32020-3-13832020-03-13
42020-3-14872020-03-14
52020-3-15892020-03-15
62020-3-16922020-03-16
72020-3-17852020-03-17
82020-3-18872020-03-18
92020-3-19882020-03-19
# 方式2
from datetime import datetime
df['日期_strptime'] = [datetime.strptime(x,'%Y-%m-%d') for x in df['日期']] 
df['日期_strptime1'] = df['日期'].apply(lambda x: datetime.strptime(x,'%Y-%m-%d')) 
df.head()
日期值日期_to_datetime日期_strptime日期_strptime1
02020-3-10822020-03-102020-03-102020-03-10
12020-3-11922020-03-112020-03-112020-03-11
22020-3-12892020-03-122020-03-122020-03-12
32020-3-13832020-03-132020-03-132020-03-13
42020-3-14872020-03-142020-03-142020-03-14
df.dtypes

日期                        object
值                          int32
日期_to_datetime    datetime64[ns]
日期_strptime       datetime64[ns]
日期_strptime1      datetime64[ns]
dtype: object

计算日期间隔

# 模拟数据
from faker import Faker
fake=Faker(locale='zh_CN')
Faker.seed(10000)   # 每次随机数不变

import pandas as pd
import numpy as np
np.random.seed(10000)   # 每次随机数不变

data = pd.DataFrame()
for i in range(10):
    datai = pd.DataFrame({'日期1': fake.date_time(),
                          '日期2':fake.date_time()},
                         index = [i])
    data = data.append(datai)
data.head()
日期1日期2
02009-04-30 04:12:391990-04-20 10:50:04
11972-06-24 22:03:042016-12-18 11:20:24
21978-02-20 20:28:272018-02-10 03:32:35
31971-09-20 13:10:152014-06-06 21:00:06
42012-09-25 11:13:481970-03-09 07:51:55
data['间隔'] = data['日期1'] - data['日期2']
data['间隔'] = data['间隔'].apply(lambda x: x.days)
data
日期1日期2间隔
02009-04-30 04:12:391990-04-20 10:50:046949
11972-06-24 22:03:042016-12-18 11:20:24-16248
21978-02-20 20:28:272018-02-10 03:32:35-14600
31971-09-20 13:10:152014-06-06 21:00:06-15601
42012-09-25 11:13:481970-03-09 07:51:5515541
51987-10-02 22:19:302004-05-07 06:11:36-6062
61992-03-10 12:30:021981-12-14 19:46:383738
71977-02-15 06:07:522016-03-19 14:59:26-14278
82008-10-18 14:07:051995-07-18 02:32:494841
91970-05-28 23:34:241990-11-12 11:48:09-7473
data['间隔_re'] = list(map(lambda x: x.days, pd.to_datetime('today') - data['日期1']))
data.head()
日期1日期2间隔间隔_re
02009-04-30 04:12:391990-04-20 10:50:0469493978
11972-06-24 22:03:042016-12-18 11:20:24-1624817436
21978-02-20 20:28:272018-02-10 03:32:35-1460015369
31971-09-20 13:10:152014-06-06 21:00:06-1560117714
42012-09-25 11:13:481970-03-09 07:51:55155412734

格式化丨datetime.strftime() 丨★

# 示例数据
import pandas as pd
import numpy as np
data = pd.read_excel('C:/Users/users/Desktop/Python课件/课件编写/data/p4_数据清洗2.xlsx',index_col=0)
data.head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.7009302009-06-28 16:36:39488
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.0579502009-11-25 07:11:24616
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.6483311992-05-08 23:04:30835
3N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.4495151990-02-22 12:35:34589
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.1603482013-12-02 20:31:27922
from datetime import datetime
data['日期_re'] = [datetime.strftime(x,'%Y-%m-%d') for x in data['日期']]
data.head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售日期_re
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.7009302009-06-28 16:36:394882009-06-28
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.0579502009-11-25 07:11:246162009-11-25
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.6483311992-05-08 23:04:308351992-05-08
3N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.4495151990-02-22 12:35:345891990-02-22
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.1603482013-12-02 20:31:279222013-12-02
data.dtypes

编号               object
姓名               object
性别               object
省份               object
公司               object
身份证号             object
邮箱               object
手机号               int64
年龄                int64
完成率             float64
日期       datetime64[ns]
销售                int64
日期_re            object
dtype: object

日期索引丨set_index()

import pandas as pd
import numpy as np
data = pd.read_excel('C:/Users/users/Desktop/Python课件/课件编写/data/p4_数据清洗2.xlsx',index_col=0)
data.head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率日期销售
0N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.7009302009-06-28 16:36:39488
1N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.0579502009-11-25 07:11:24616
2N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.6483311992-05-08 23:04:30835
3N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.4495151990-02-22 12:35:34589
4N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.1603482013-12-02 20:31:27922
# 设置日期索引
data.set_index('日期',inplace=True)
data.head()
编号姓名性别省份公司身份证号邮箱手机号年龄完成率销售
日期
2009-06-28 16:36:39N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.700930488
2009-11-25 07:11:24N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.057950616
1992-05-08 23:04:30N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.648331835
1990-02-22 12:35:34N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.449515589
2013-12-02 20:31:27N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.160348922
日期筛选 丨★★★
# 按日期筛选
data['2019']
编号姓名性别省份公司身份证号邮箱手机号年龄完成率销售
日期
2019-07-16 12:20:13N2020_22陆岩男浙江省毕博诚科技有限公司542522198007113665yangsun@example.com14576069728380.566517262
2019-12-30 06:36:17N2020_36伍荣男广西壮族自治区富罳网络有限公司230882197007262293dchang@example.com18200579436460.773116674
2019-11-13 07:39:06N2020_57刘红梅男宁夏回族自治区华成育卓网络有限公司431102193803033408weiye@example.net13235351585360.368342436
2019-06-26 04:44:02N2020_71韩凤英男四川省网新恒天网络有限公司152202194306033785cfeng@example.net13699762247390.089812760
2019-10-02 12:23:51N2020_73卢丹女上海市盟新科技有限公司370202194101232333guiyingshi@example.org15682747497350.691084761
# 按日期筛选
data['2019-11']  # 不能写成201911
编号姓名性别省份公司身份证号邮箱手机号年龄完成率销售
日期
2019-11-13 07:39:06N2020_57刘红梅男宁夏回族自治区华成育卓网络有限公司431102193803033408weiye@example.net13235351585360.368342436
# 按日期筛选
data['2019-11-01' : '2019-11-20']
编号姓名性别省份公司身份证号邮箱手机号年龄完成率销售
日期
2019-11-13 07:39:06N2020_57刘红梅男宁夏回族自治区华成育卓网络有限公司431102193803033408weiye@example.net13235351585360.368342436
改变日期数据频率丨to_period()
data.to_period('M').head()  # 只针对索引
编号姓名性别省份公司身份证号邮箱手机号年龄完成率销售
日期
2009-06N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.700930488
2009-11N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.057950616
1992-05N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.648331835
1990-02N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.449515589
2013-12N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.160348922
data.to_period('Y').reset_index().head()
日期编号姓名性别省份公司身份证号邮箱手机号年龄完成率销售
02009N2020_0范金凤女四川省方正科技信息有限公司320401200112288520syang@example.net13104093059410.700930488
12009N2020_1李平男北京市东方峻景科技有限公司623001196812267643nayao@example.com14558214788460.057950616
21992N2020_2李林男福建省昊嘉传媒有限公司131000193309129587shichao@example.net15872567938310.648331835
31990N2020_3王玉华男台湾省商软冠联网络有限公司340822198708022149lilei@example.com18651489092490.449515589
42013N2020_4赵平女天津市商软冠联传媒有限公司33070219791019772Xshenyong@example.net18027050254380.160348922

本节重点

  • 缺失值填充
  • 缺失值删除：subset参数
  • 重复值删除：subset参数
  • 更改列名：columns参数
  • 替换
  • 排序
python技巧(数据分析及可视化)
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Python数据清洗
ttx10225的博客
01-02 2325
数据清洗是指对原始数据进行筛选、过滤和清理，以去除不必要的数据、修复错误数据、填补缺失值等。数据清洗可以采用各种方法，包括使用正则表达式、删除无用数据列、去重、替换异常值等。其中，缺失值是数据清洗中最常见的问题，可以使用中位数、平均数、众数或者插值法来填充缺失值。当我们进行数据分析和建模时，首先要面对的问题之一就是数据清洗。数据清洗是指对原始数据进行筛选、过滤和修复，以确保数据的质量和准确性。以下将介绍数据清洗的重要性，并结合Python代码详细讲解常用的数据清洗方法。
python数据清洗
abc1234564546的博客
07-17 3371
关于python的数据清洗
python入门项目：数据清洗
CSDN_Yangk的博客
04-17 2839
数据清洗的简单实践。
使用Python进行数据清洗，以及一些常见的数据清洗技巧和最佳实践
m0_57781768的博客
09-26 7355
首先，让我们了解如何使用Python进行数据统计和摘要。Pandas提供了一些有用的函数来获取数据的摘要统计信息。# 获取数据摘要统计信息# 计算相关系数矩阵。
Python数据分析-数据清洗
最新发布
2201_75874206的博客
12-07 3177
在Python数据分析中，数据清洗是非常重要的一步，它涉及到对原始数据进行处理、筛选和转换，以便后续的数据分析和建模能够更加准确和有效。数据清洗主要是为了解决原始数据中存在的错误、缺失、重复、异常值等问题，以及将数据转换成适合分析的格式。
利用Python进行数据分析 原书第2版_python_数据分析_
10-02
总之，《利用Python进行数据分析》第二版是一本全面覆盖Python数据分析的教程，无论你是初学者还是有一定经验的数据工作者，都能从中获得宝贵的知识和技能。通过阅读这本书，你可以提升自己的数据处理能力，更好地...
Python：Python数据分析基础教程王斌会第三章Python编程分析基础.pdf
06-13
在Python数据分析领域，掌握基础是至关重要的。本教程聚焦于Python编程分析基础，特别是使用Python进行数据处理的核心库——NumPy和Pandas。下面将详细阐述这些知识点。 首先，我们来了解一下Python的数据类型。...
Python数据分析与应用：从数据获取到可视化
10-25
Python数据分析与应用是一个涵盖多个领域的综合主题，包括数据获取、数据清洗、数据分析、数据可视化以及相关的编程技巧。在这个领域，Python以其简洁易读的语法和丰富的库支持，成为了数据科学界的首选工具。以下是...
Python数据分析实践：python数据分析概述.docx
06-14
本篇文章将探讨Python数据分析的基础概念、流程及其在不同行业的应用。 数据分析的核心在于通过统计分析方法解析收集到的数据，提取有价值的信息，并据此形成结论。它涉及到对数据的详细研究、汇总和理解，以揭示...
Python_pandas_数据清洗和预处理.docx
09-17
python的pandas库中用于进行数据清洗和预处理的精炼集成代码（包括数据审核、缺失值处理、异常值处理、重复值处理以及数据标准化）
使用 Python 进行数据清洗的完整指南
deephub
03-28 9953
你一定听说过这句著名的数据科学名言： 在数据科学项目中， 80% 的时间是在做数据处理。 如果你没有听过，那么请记住：数据清洗是数据科学工作流程的基础。机器学习模型会根据你提供的数据执行，混乱的数据会导致性能下降甚至错误的结果，而干净的数据是良好模型性能的先决条件。当然干净的数据并不意味着一直都有好的性能，模型的正确选择（剩余 20%）也很重要，但是没有干净的数据，即使是再强大的模型也无法达到预期的水平。 在本文中将列出数据清洗中需要解决的问题并展示可能的解决方案，通过本文可以了解如何逐步进行数据清洗
python 爬虫之数据清洗
naer_chongya的博客
06-08 5733
Python爬虫是一项强大的工具，可用于获取大量数据并进行分析和处理。但是，爬取的数据在处理之前需要经过清洗，以消除无用或无效的信息，并确保数据可靠和可用。在本文中，我们将详细讨论Python爬虫数据清洗的过程和技巧，让您了解如何有效地处理和分析数据。
python数据清洗的三个常用的处理方式！
梦在硅谷的博客
12-19 3965
另外一种则是部分相同指的是某个列的数据是相同的需要清洗。从列名称的打印结果发现’姓名’这一列是存在空格的，我们直接查找列名称是找不到的，因为需要对列名称的空格进行数据清洗。返回的每一个单元格数据结果为False则代表这个单元格的数据是没有缺失的，或者也可以使用notnull来反向查看。准备一下需要处理的脏数据，这里选用的是excel数据，也可以选择其他的格式数据，下面是源数据截图。因为最后一行和第一行的数据是完全相同的，因此最后一行的数据已经被清洗掉了。
Python 数据清洗 & 预处理入门完整指南
WANGJUNAIJIAO的博客
11-29 213
Python 数据清洗 & 预处理入门完整指南
chatgpt赋能python：Python进行数据清洗的完全指南
yakuchrisfor的博客
06-29 205
在开始介绍Python进行数据清洗之前，我们需要了解数据清洗是什么。数据清洗是指去除数据中无用、重复、不必要的或错误的部分，并结构化和规范化数据，以便后面进行数据分析、数据挖掘或机器学习。数据清洗是数据处理过程中的重要一步，它决定了数据分析的准确性和可靠性。现在，让我们看看如何使用Python进行数据清洗。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT。
如何使用Python进行数据清洗？
网络技术联盟站
07-12 1291
数据清洗是数据预处理的重要环节，它包括数据收集、数据整理、数据转换等步骤。数据清洗的目标是修正和删除无效、不一致、冗余或缺失的数据，使得数据能够更好地用于后续的分析和建模。处理缺失值：对于数据中的缺失值，可以选择删除对应的记录或者通过插补等方法填补缺失值。处理异常值：发现并处理数据中的异常值，如错误的测量、超过合理范围的数值等。处理重复数据：去除数据集中的重复记录，以避免对分析结果产生误导。处理不一致数据：解决数据中存在的不一致问题，如大小写不一致、单位不统一等。转换数据格式。
用python进行数据清理（上）
qq_37356854的博客
02-25 1239
数据清理是从数据集、表或数据库中检测和纠正(或删除)损坏或不准确的记录的过程，指的是识别数据中不完整、不正确、不准确或不相关的部分，然后进行替换、修改或删除不干净或者粗糙的数据。 Data Cleaning in Python: the Ultimate Guide (2020) 为了使它更简单，我们用Python创建了这个新的完整的分步指南。你将学习如何寻找和清洁的技术: 数据缺失 数据不...
python dataframe数据集中重复数据的检查、修改、删除方法
热门推荐
跬步Python股票数据量化分析
11-16 2万+
python dataframe数据集中重复数据的检查的、修改、删除方法 1.创建一个测试样例 import pandas as pd se1=pd.Series(['a','b','b','d','d','d','e','f','f']) se2=pd.Series(['1','2','2','4','4','4','5','7','8']) df = pd.DataFrame({'name':se1, 'number':se2}) df 看一下df的样子： 2.查看name列中包含的数据有
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

python技巧(数据分析及可视化)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值