python数据清洗之学习总结（六、数据清洗之数据预处理)

最新推荐文章于 2023-12-07 01:06:06 发布
最新推荐文章于 2023-12-07 01:06:06 发布
阅读量2k 收藏 18
点赞数 1
分类专栏： python 文章标签： python 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32392597/article/details/104622631
版权

文章目录

1.重复值处理

  • DataFrame.duplicated 计算是否有重复值
DataFrame.duplicated(self, subset: Union[Hashable, 
	Sequence[Hashable], NoneType] = None, keep: Union[str, bool] = 'first')

以下是我根据视频完整的操作记录，仅稍作整理，以备后续查看。

import pandas as pd
import numpy as np
import os

进入文档所在路径

os.chdir(r'C:\代码和数据')
#路径前不加r的话需要将单斜杠\变为双斜杠\\

读取文档

df =pd.read_csv('MotorcycleData.csv',encoding='gbk',na_values='Na')
#将数据为‘Na’的当作缺失值处理,注意不要写成na_value,应为na_values

查看前三行

df.head(3)
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
0Usedmint!!! very low miles$11,412McHenry, Illinois, United States2013.016,000BlackHarley-DavidsonUnspecifiedTouring...NaNFALSE8.1NaN2427Private SellerClearTrueFALSE28.0
1UsedPerfect condition$17,200Fort Recovery, Ohio, United States2016.060BlackHarley-DavidsonVehicle has an existing warrantyTouring...NaNFALSE10017657Private SellerClearTrueTRUE0.0
2UsedNaN$3,872Chicago, Illinois, United States1970.025,763Silver/BlueBMWVehicle does NOT have an existing warrantyR-Series...NaNFALSE100NaN136NaNClearTrueFALSE26.0

3 rows × 22 columns

自定义一个函数用于去掉Price和Mileage中的字符，留下数字，并将数值转为浮点型

def f(x):
    if '$' in str(x):  #去掉Price中的$和，
        x = str(x).strip('$')
        x = str(x).replace(',','')
    else:              #去掉Mileage中的,
        x = str(x).replace(',','')
    return float(x)

对Price和Mileage两个字段用自定义函数f进行处理

df['Price']=df['Price'].apply(f)
df['Mileage']=df['Mileage'].apply(f)

查看处理后的字段数值

df[['Price','Mileage']].head(3)
PriceMileage
011412.016000.0
117200.060.0
23872.025763.0

#查看处理后的字段类型

df[['Price','Mileage']].info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 7493 entries, 0 to 7492
Data columns (total 2 columns):
Price      7493 non-null float64
Mileage    7467 non-null float64
dtypes: float64(2)
memory usage: 117.2 KB

df.duplicated()函数，有重复值时该行显示为TRUE否则为FALSE，默认axis=0判断显示

any(df.duplicated())#判断df中是否含有重复值，一旦有的话就是TRUE

True

df[df.duplicated()].head(3) #展示df重复的数据
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
57UsedNaN4050.0Gilberts, Illinois, United States2006.06650.0BlackHarley-DavidsonVehicle does NOT have an existing warrantySoftail...NaNFALSENaN7<58Private SellerClearTrueTRUE3.0
63UsedNaN7300.0Rolling Meadows, Illinois, United States1997.020000.0BlackHarley-DavidsonVehicle does NOT have an existing warrantySportster...NaNTRUE1005<111Private SellerClearFalseTRUENaN
64UsedDent and scratch free. Paint and chrome in exc...5000.0South Bend, Indiana, United States2003.01350.0BlackHarley-DavidsonVehicle does NOT have an existing warrantySportster...NaNFALSE1001437Private SellerClearFalseTRUENaN

3 rows × 22 columns

np.sum(df.duplicated())#计算重复的数量

1221

drop_duplicates()函数，删除重复数据

df.drop_duplicates().head(3)#删除重复的数据，并返回删除后的视图。
# inplace=True 时才会对原数据进行操作
#这是是drop_duplicates不是drop_duplicated
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
0Usedmint!!! very low miles11412.0McHenry, Illinois, United States2013.016000.0BlackHarley-DavidsonUnspecifiedTouring...NaNFALSE8.1NaN2427Private SellerClearTrueFALSE28.0
1UsedPerfect condition17200.0Fort Recovery, Ohio, United States2016.060.0BlackHarley-DavidsonVehicle has an existing warrantyTouring...NaNFALSE10017657Private SellerClearTrueTRUE0.0
2UsedNaN3872.0Chicago, Illinois, United States1970.025763.0Silver/BlueBMWVehicle does NOT have an existing warrantyR-Series...NaNFALSE100NaN136NaNClearTrueFALSE26.0

3 rows × 22 columns

查看行与列的数量

df.shape

(7493, 22)

查看每一列的名称

df.columns

Index(['Condition', 'Condition_Desc', 'Price', 'Location', 'Model_Year',
       'Mileage', 'Exterior_Color', 'Make', 'Warranty', 'Model', 'Sub_Model',
       'Type', 'Vehicle_Title', 'OBO', 'Feedback_Perc', 'Watch_Count',
       'N_Reviews', 'Seller_Status', 'Vehicle_Tile', 'Auction', 'Buy_Now',
       'Bid_Count'],
      dtype='object')

删除列’Condition’, ‘Condition_Desc’, ‘Price’, 'Location’重复的值

df.drop_duplicates(subset=['Condition', 'Condition_Desc', 'Price', 'Location'],inplace=True)

查看输出后的列数，明显减少；若未加inplace=True则不会减少

df.shape

(5356, 22)

测试用：选取前两行，只查看第一行

df.head(2)[[True,False]]
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
0Usedmint!!! very low miles11412.0McHenry, Illinois, United States2013.016000.0BlackHarley-DavidsonUnspecifiedTouring...NaNFALSE8.1NaN2427Private SellerClearTrueFALSE28.0

1 rows × 22 columns

2. 缺失值处理

  • 缺失值的定义需要根据实际情况，比如用-1或者-999代替，便于数据处理
  • 可采取直接删除法（少用）、替换法、插值法
  • 替换法包括：均值替换、前向、后向、常数替换
    前向替换：前一个数据替换

查看每一列缺失值比例

df.apply(lambda x: sum(x.isnull()) / len(x), axis=0) 
#沿着行的方向判断有多少缺失值，再除以行数，最后对每一列进行同样操作

Condition         0.000000
Condition_Desc    0.752801
Price             0.000000
Location          0.000373
Model_Year        0.000747
 ······省略·········
Buy_Now           0.024645
Bid_Count         0.690814
dtype: float64

删除空值

df.dropna(how='all',axis=0).head(3)
#any 只要有就删除 ；all 全部为缺失值才删除；默认axis=1，按列删除

删除‘Condition’,‘Price’,'Mileage’中有空值时的数据

df.dropna(how='any',subset=['Condition','Price','Mileage']).head(3)
#只要这三个变量中有数据缺失即删除
#df.dropna实际业务使用较少

直接用数据填补缺失值

df.fillna(0) #将所有缺失值填补为0，未加inplace=True，修改无效

计算均值，将缺失值用均值替换

df.Mileage.mean()

273842.18927030574

查看缺失值数量

sum(df.Mileage.isnull())

25

#用均值填补

df.Mileage.fillna(df.Mileage.mean(),inplace=True)
#不加inplace=True数据不会更改

替换后缺失值数量变为0，未加inplace=True将不会变化

sum(df.Mileage.isnull())

0

查看缺失值，用众数替换

df[df['Exterior_Color'].isnull()].head(2)
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
14UsedNaN5500.0Davenport, Iowa, United States2008.022102.0NaNHarley-DavidsonVehicle does NOT have an existing warrantyTouring...NaNFALSE9.3NaN244Private SellerClearTrueFALSE16.0
35UsedNaN7700.0Roselle, Illinois, United States2007.010893.0NaNHarley-DavidsonNaNOther...NaNFALSE100NaN236NaNClearFalseTRUENaN

2 rows × 22 columns

df['Exterior_Color'].mode()[0]#计算众数

'Black'

两种替换方式：
一是只能针对某一列

df['Exterior_Color'].fillna(df['Exterior_Color'].mode()[0]).loc[[14,35]]
#采取众数填补
#查看填补后的缺失值状态

14    Black
35    Black
Name: Exterior_Color, dtype: object

用value值替换可修改多列

df.fillna(value={'Exterior_Color':'Black','Mileage':df['Mileage'].median()}).head(3)
#inplace=True不加将不会填补缺失值
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
0Usedmint!!! very low miles11412.0McHenry, Illinois, United States2013.016000.0BlackHarley-DavidsonUnspecifiedTouring...NaNFALSE8.1NaN2427Private SellerClearTrueFALSE28.0
1UsedPerfect condition17200.0Fort Recovery, Ohio, United States2016.060.0BlackHarley-DavidsonVehicle has an existing warrantyTouring...NaNFALSE10017657Private SellerClearTrueTRUE0.0
2UsedNaN3872.0Chicago, Illinois, United States1970.025763.0Silver/BlueBMWVehicle does NOT have an existing warrantyR-Series...NaNFALSE100NaN136NaNClearTrueFALSE26.0

3 rows × 22 columns

查看缺失值所在行

df.loc[df['Exterior_Color'].isnull(),'Exterior_Color'].head(3)

14    NaN
35    NaN
41    NaN
Name: Exterior_Color, dtype: object

查看缺失值所在行的前一行数据

df.loc[[13,14,34,35,40,41],'Exterior_Color']

13    Luxury Rich Red
14                NaN
34               Blue
35                NaN
40              Black
41                NaN
Name: Exterior_Color, dtype: object

用前一行数据填充

df['Exterior_Color'].fillna(method='ffill').loc[[13,14,34,35,40,41]]
# ffill 前向替换  bfil 后向填充

13    Luxury Rich Red
14    Luxury Rich Red
34               Blue
35               Blue
40              Black
41              Black
Name: Exterior_Color, dtype: object

3. 异常值处理

  • 异常值是指偏离正常范围的值，不是错误值
  • 异常值出现频率较低，但会对实际项目造成影响
  • 一般采用过箱线图法（分位差法）或者分布图（标准差法）来判断
    过箱线图法
  • 采取盖帽法货或者数据离散化

读取数据

import numpy as np
import pandas as pd
import os
df =pd.read_csv('MotorcycleData.csv',encoding='gbk')
df.head(3)
ConditionCondition_DescPriceLocationModel_YearMileageExterior_ColorMakeWarrantyModel...Vehicle_TitleOBOFeedback_PercWatch_CountN_ReviewsSeller_StatusVehicle_TileAuctionBuy_NowBid_Count
0Usedmint!!! very low miles$11,412McHenry, Illinois, United States2013.016,000BlackHarley-DavidsonUnspecifiedTouring...NaNFALSE8.1NaN2427Private SellerClearTrueFALSE28.0
1UsedPerfect condition$17,200Fort Recovery, Ohio, United States2016.060BlackHarley-DavidsonVehicle has an existing warrantyTouring...NaNFALSE10017657Private SellerClearTrueTRUE0.0
2UsedNaN$3,872Chicago, Illinois, United States1970.025,763Silver/BlueBMWVehicle does NOT have an existing warrantyR-Series...NaNFALSE100NaN136NaNClearTrueFALSE26.0

3 rows × 22 columns

将Price数据做处理为number类型

df['Price'] = df['Price'].apply(lambda x : x.strip('$').replace('$','').replace(',','')).astype(int)
x_bar = df['Price'].mean()#均值
x_std = df['Price'].std() #标准偏差
any(df['Price'] > x_bar +3* x_std) #  判断是否有数据超过 均值加两倍标准差
# 标准差 一般乘以 2、2.5或者3，具体依据实际情况定

True

any(df['Price'] <  x_bar -2* x_std)

False

查看Price的各种数值

df['Price'].describe()

count      7493.000000
mean       9968.811557
std        8497.326850
min           0.000000
25%        4158.000000
50%        7995.000000
75%       13000.000000
max      100000.000000
Name: Price, dtype: float64

Q1 = df['Price'].quantile(q=0.25) #四分之一分位数

Q3 = df['Price'].quantile(q=0.75)#四分之三分位数

IQR = Q3 - Q1 #分位差

any(df['Price'] > Q3 + 1.5*IQR)#是否有超过上限的值

True

any(df['Price'] < Q1 - 1.5*IQR)#是否有超过下限的值

False

import matplotlib.pyplot as plt #画图常用工具
%matplotlib inline 
#确保图形可以在jupter notebook运行

箱型图分析数据

df['Price'].plot(kind='box')
#查看箱型图
#超出上限的数据较多

<matplotlib.axes._subplots.AxesSubplot at 0x2c2121ecba8>

在这里插入图片描述

柱状图分析数据

plt.style.use('seaborn')#设置显示风格
df.Price.plot(kind='hist',bins =30,density=True)
#hist柱状图   bins柱状图个数 density是否绘制成概率密度方式
df.Price.plot(kind='kde') #kde折线图
plt.show
#数据显示 拖尾状况较严重，存在异常值

<function matplotlib.pyplot.show(*args, **kw)>

在这里插入图片描述

P99=df['Price'].quantile(q=0.99)
P1=df['Price'].quantile(q=0.01)
df['Price_new']=df['Price']
df.loc[df['Price']>P99,'Price_new'] = P99 #将大于99分位数的值替换为99分位数
df.loc[df['Price']<P1,'Price_new'] = P1 #将小于1分位数的值替换为1分位数
df[['Price','Price_new']].describe()#将数值盖帽法替换后
PricePrice_new
count7493.0000007493.000000
mean9968.8115579821.220873
std8497.3268507737.092537
min0.000000100.000000
25%4158.0000004158.000000
50%7995.0000007995.000000
75%13000.00000013000.000000
max100000.00000039995.320000
df['Price_new'].plot(kind='box')
#盖帽法即类似 去掉一个最高值，最低值

<matplotlib.axes._subplots.AxesSubplot at 0x2c21450d1d0>

在这里插入图片描述

4.数据离散化

  • 数据离散化就是分箱
  • 一般常用分箱方法是等频分箱或者等宽分箱
  • 一般使用pd.cut或者pd.qcut函数
pandas.cut(x,bins,right=True,labels)
--x: 数据
--bins: 离散化的数目,或者切分的区间
--labels: 离散化后各个类别的标签
--right: 是否包含区间右边的值

示例代码：

df['Price_bin']=pd.cut(df['Price_new'],bins=5,labels=range(5))
df['Price_bin'].head(5) #数据太多，只显示一部分
#表示价格中前5位数分别在刚才划分的区间里位于哪一个区间

0    1
1    2
2    0
3    0
4    1
Name: Price_bin, dtype: category
Categories (5, int64): [0 < 1 < 2 < 3 < 4]

df['Price_bin'].value_counts().plot(kind='bar')
# .value_counts()计算每个区间的价格数量
#绘制成柱状图.plot(kind='bar')
# plt.plot?查看语法

在这里插入图片描述

df['Price_bin'].hist()

在这里插入图片描述

w=[100,1000,50000,10000,20000,40000]

df['Price_bin']=pd.cut(df['Price_new'],bins=w)

---------------------------------------------------------------------------

ValueError                                Traceback (most recent call last)

<ipython-input-62-ad2611ff3c08> in <module>
----> 1 df['Price_bin']=pd.cut(df['Price_new'],bins=w)


D:\Anaconda3\lib\site-packages\pandas\core\reshape\tile.py in cut(x, bins, right, labels, retbins, precision, include_lowest, duplicates)
    233         bins = _convert_bin_to_numeric_type(bins, dtype)
    234         if (np.diff(bins) < 0).any():
--> 235             raise ValueError('bins must increase monotonically.')
    236 
    237     fac, bins = _bins_to_cuts(x, bins, right=right, labels=labels,


ValueError: bins must increase monotonically.

# bins must increase monotonically.
#这里报错是因为我设置的w区间没有单调递增
w=[100,1000,5000,10000,20000,40000]#5000多写了0
df['Price_bin']=pd.cut(df['Price_new'],bins=w)#修改后运行不报错

df[['Price_new','Price_bin']].head(3)
Price_newPrice_bin
011412.0(10000, 20000]
117200.0(10000, 20000]
23872.0(1000, 5000]
df['Price_bin']=pd.cut(df['Price_new'],bins=w,labels=range(5))
#加入标签labels，将数值区间更直观化
df[['Price_new','Price_bin']].head(3)
Price_newPrice_bin
011412.03
117200.03
23872.01
df['Price_bin'].hist()

在这里插入图片描述

k = 5
w = [1.0 * i/k for i in range(k+1 )]  #将1划分成5段
df['Price_bin']=pd.qcut(df['Price_new'], q =w,labels=range(5))
#q代表分位数

pd.qcut 
#查看语法，之前命令写错

<function pandas.core.reshape.tile.qcut(x, q, labels=None, retbins=False, precision=3, duplicates='raise')>

df['Price_bin'].hist()

在这里插入图片描述

[1.0 * i/k for i in range(k+1)]

[0.0, 0.2, 0.4, 0.6, 0.8, 1.0]

k = 5
w1 = df['Price_new'].quantile([ 1.0 * i/k for i in range(k+1)])
#得出符合分位数的数值
w1

0.0      100.00
0.2     3500.00
0.4     6491.00
0.6     9777.00
0.8    14999.00
1.0    39995.32
Name: Price_new, dtype: float64

w1[0] = w1[0]*0.95
w1[1.0] = w1[1.0]*1.1
w1[[0,1.0]]

0.0       95.000
1.0    43994.852
Name: Price_new, dtype: float64

df['Price_bin']=pd.cut(df['Price_new'],bins=w1,labels=range(5))

df['Price_bin'].hist()

在这里插入图片描述

w.ang.jie
关注
  • 1
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python数据清洗实战入门
12-09
本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。
Python数据分析（2）——数据清洗及特征处理
weixin_62675203的博客
05-18 1342
Python数据分析（2）——数据清洗及特征处理数据清洗导入数据1.缺失值1.1缺失值的查询1.2 缺失值的处理1.2.1利用dropna处理1.2.2 利用fillna处理2 重复值2.1查看重复值2.2 处理重复值特征处理1.离散化处理2.将文本数据转换2.1利用value_counts函数查看数据类别2.2 利用map函数转换数据类型2.3将类别文本转换为one-hot编码友情链接 本文延续使用kaggle泰坦尼克号数据。 数据清洗 对于我们拿到的原数据来说，它们常常含有一些异常值、缺失值、重复值，数
利用python删除csv文件中的某几列或行
wujunlin的博客
04-05 5万+
1. 读取数据 用pandas中的read_csv()函数读取出csv文件中的数据: import pandas as pd df = pd.read_csv("comments.csv") df.head(2) 用drop函数进行文件中数据的删除行或者删除列操作。 2. 删除列操作 方法一：假设我们要删除的列的名称为 ‘观众ID’,‘评分’ : df=df.drop(['观众ID','评分'],axis=1) 方法二： #删除指定列 df.drop(columns=["城市"]) 即可删除指定的列
Pandas第三次作业20200907
Narutolxy的博客
09-07 1712
练习1 • 读取北向.csv 指定第一列为行索引 • 查看数据的基本信息 有无缺失值 对其缺失值进行处理 • 删除缺失值所在行 • 查看数据的基本信息 查看数据是否清洗完毕 • index列没啥用 将index列删除 • 观察数据是否有重复行 • 将重复行进行删除 • 将行索引 进行升序 • 将处理好的数据 保存至 北向(副).csv #！/user/bin/env python #-*-coding: utf-8-*- #@Time : 2020/9/719:53 #@Author
十分钟学会如何用Python处理CSV文件
热门推荐
程序员仓库
08-16 6万+
十分钟学会如何用Python处理CSV文件 在前几年，如果你和嵌入式开发人员推荐Python，大概会是这样一种场景： A：”诶，老王，你看Python开发这么方便，以后会不会用到嵌入式设备？“ B：“别做梦了，那玩意儿速度贼慢，肯定满足不了性能要求…” 但近几年，随着半导体行业的迅猛发展，嵌入式处理器的性能有了很大幅度的提高。与此同时，Python语言本身也在不断优化。因此，在嵌入式领域引入Python已经成为了必然趋势。 今天，作者就来总结一下使用Python处理物联网行业中一种常见的文件格式：csv文件
Python_pandas_数据清洗和预处理.docx
09-17
python的pandas库中用于进行数据清洗和预处理的精炼集成代码（包括数据审核、缺失值处理、异常值处理、重复值处理以及数据标准化）
利用PythonPandas进行数据预处理-数据清洗
02-24
数据缺失在大部分数据分析应用中都很常见，Pandas使用浮点值NaN表示浮点和非浮点数组中的缺失数据，他只是一个便于被检测出来的数据而已。Python内置的None值也会被当作NA处理处理NA的方法有四种：dropna,fillna,is...
python数据清洗预处理
01-10
而对于这些问题，则需要进行特征工程相关工作，特征工程通常分为特征使用方案、特征获取方案、特征处理、特征监控几大版块，其中特征处理是特征工程中最为核心的内容，特征处理有时常被称之为数据预处理。...
Python数据预处理.rar_Python数据处理_python_python 预处理_数据清洗_数据预处理
07-15
Python数据预处理示例，包括数据清洗、数据整合、数据变换等操作。
使用Python进行数据清洗，以及一些常见的数据清洗技巧和最佳实践
m0_57781768的博客
09-26 6761
首先，让我们了解如何使用Python进行数据统计和摘要。Pandas提供了一些有用的函数来获取数据的摘要统计信息。# 获取数据摘要统计信息# 计算相关系数矩阵。
python数据清洗
07-22
本资源部分参考《干净的数据 ——数据清洗入门与实践》，但更多的都是个人撰写。
Python数据分析-数据清洗
2201_75874206的博客
12-07 1930
在Python数据分析中，数据清洗是非常重要的一步，它涉及到对原始数据进行处理、筛选和转换，以便后续的数据分析和建模能够更加准确和有效。数据清洗主要是为了解决原始数据中存在的错误、缺失、重复、异常值等问题，以及将数据转换成适合分析的格式。
小白的Pandas笔记
summer_bugs的博客
04-09 257
小白的Pandas学习笔记 文章目录小白的Pandas学习笔记1.Series类型创建索引布尔两个Series类型相加2.DataFrame类型创建索引列访问/行访问列添加/列删除行添加/行删除DataFrame数据的修改DataFrame数据排序和重新索引3.Pandas库的数据类型运算广播运算4.Pandas分组分组聚合5.Pandas数据表关联操作合并两个DataFrame6.透视表与交叉表...
python数据清洗实例_python 数据的清理行为实例详解
weixin_39624705的博客
11-21 244
python 数据的清理行为实例详解数据清洗主要是指填充缺失数据，消除噪声数据等操作，主要还是通过分析“脏数据”产生的原因和存在形式，利用现有的数据挖掘手段去清洗“脏数据”，然后转化为满足数据质量要求或者是应用要求的数据。1、try 语句还有另外一个可选的子句，它定义了无论在任何情况下都会执行的清理行为。例如:>>>try:raiseKeyboardInterruptfinally:print('...
python数据清洗（总结版）-思维导图
qq_42787271的博客
10-13 3126
数据清洗是数据预处理的重要组成部分，也是耗时间最长的一部分，因此根本多篇文章总结脑图便于自己梳理清楚数据清洗的处理步骤，由此知道数据清洗该如何下手。 借鉴文章及数据如下： 专栏1：数据清洗https://zhuanlan.zhihu.com/dataclean ：详细介绍了数据清洗的主要方面 专栏2：python3 pandas库https://zhuanlan.zhihu.com/c_12923...
python数据清洗之学习总结（三、数据清洗之数据表处理)
wj的博客
02-22 780
文章目录1.数据常用筛选方法2.在数据中,直接添加列3. 数据的修改和查找4. 数据整理4.1 pd.concat4.2 pd.merge5.层次化索引 1.数据常用筛选方法 在数据中,选择需要的行或者列 基础索引方式,就是直接引用 ioc [行索引名称或者条件,列索引名称或者标签] iloc [行索引位置,列索引位置] 注意, 区分loc和iloc 2.在数据中,直接添加列 使用df...
python数据清洗案例_如何用 Python 清洗数据？
weixin_39654751的博客
12-01 333
0. 序言在做数据分析之前，我们首先要明确数据分析的目标，然后 应用数据分析的思维，对目标进行细分，再采取相应的行动。我们可以把数据分析细分为以下 8 个步骤：读取清洗操作转换整理分析展现(8)报告在《 如何用 Python 读取数据? 》这篇文章中，我们学习了从 5 种不同的地方读取数据的方法，接下来，我们将利用其中的一种方法， 从 Excel 文件中读取原始数据，然后利 用 Python 对...
python数据收集清洗分析_GitHub - ArtemisLiu/We-Rate-Dogs--Python: 在这个项目中，对推特用户 @dog_rates 的档案数据进行收集、评估和清洗，然后通...
weixin_39634022的博客
12-21 307
WeRateDogs-data-wrangling清洗 WeRateDogs 推特数据背景​ 在本项目中要整理 (以及分析和可视化) 的数据集是推特用户 @dog_rates 的档案, 推特昵称为 WeRateDogs。WeRateDogs 是一个推特主，他以诙谐幽默的方式对人们的宠物狗评分。这些评分通常以10作为分母。但是分子则一般大于 10：11/10、12/10、13/10 等等。为什...
python-数据分析（10-数据清洗）
zaibiketaide的专栏
11-24 624
Pandas 10 Pandas之数据清洗 10.1Pandas数据清洗 数据清洗介绍 数据清洗实际上也是数据质量分析，检查原始数据中是否存在脏数据(不符合要求，或者不能直接进行分析的数据)，并且处理脏数据。 常见情况如下 缺失值 异常值 重复数据 处理缺失值 Pandas使用浮点值NaN(not a Number)表示缺失值，并且缺失值在数据中时常出现。那么Pandas的目的之一就是"无痛地"处理缺失值。       判断数据是否为NaN pd.isnull(df)
数据预处理Python数据清洗与整理的代码
最新发布
05-12
数据预处理是数据分析的重要步骤之一，其中包括数据清洗、整理、转换、归约等一系列操作。在Python中，可以使用pandas库进行数据预处理。以下是一个简单的数据清洗和整理的代码示例： ``` import pandas as pd # 读取csv文件 data = pd.read_csv('data.csv') # 删除重复行 data.drop_duplicates(inplace=True) # 删除缺失值 data.dropna(inplace=True) # 修改列名 data.rename(columns={'old_name': 'new_name'}, inplace=True) # 转换数据类型 data['col_name'] = data['col_name'].astype(int) # 排序 data.sort_values('col_name', ascending=False, inplace=True) # 保存为新csv文件 data.to_csv('new_data.csv', index=False) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值