使用Python对数据进行清洗

最新推荐文章于 2024-06-20 12:17:33 发布
最新推荐文章于 2024-06-20 12:17:33 发布
阅读量4.1k 收藏 55
点赞数 6
分类专栏： 最后一年
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36791466/article/details/103874398
版权

拿到了一些职位信息进行数据清洗练习，这里分享一下步骤

读取数据

这里直接打开CSV格式的文件（可以使用execl转化）

import numpy as np
import pandas as pd
import warnings
warnings.filterwarnings('ignore')
data = pd.read_csv('E:\\aatableau\\data.csv',encoding='gbk')
data.shape
data.head(100)
data.info()

在这里插入图片描述

数据清洗

1.处理异常值

1.1 将薪资范围转化为平均薪资
for i, j in enumerate(data['薪资']):
    j = j.replace('k', '').replace('K', '').replace('以上', '-0')
    j1 = int(j.split('-')[0])
    j2 = int(j.split('-')[1])
    j3 = 1/2 * (j1+j2)
    data['薪资'][i] = j3*1000
data['薪资'].head(10)

在这里插入图片描述

1.2 将公司福利处理成正常的文字格式
for i, j in enumerate(data['公司福利']):
    j = j.replace('[', '').replace(']', '')
    data['公司福利'][i] = j    
data['公司福利'][:10]
for i, j in enumerate(data['公司福利']):
    j = j.replace('\'','')
    data['公司福利'][i] = j    
data['公司福利'][:10]

在这里插入图片描述

2.处理缺失值

将区域中空白修改成未知，城市中的空白修改为其他
data['区域'] = data['区域'].fillna("未知")
data['区域'][:10]
data['城市'] = data['城市'].fillna("其他")
data['城市'][:10]

3.职位信息格式化

python数据格式化

for i, j in enumerate(data['职位名称']):
    j = j.replace('【', '').replace('】', '')
    data['职位名称'][i] = j 
data['职位名称'][:100]
for i, j in enumerate(data['职位名称']):
    if 'android开发' in j:
        j = 'Android开发工程师'
    if 'Android开发' in j:
        j = 'Android开发工程师'
    if 'C++开发' in j:
        j = 'C++开发工程师'
    data['职位名称'][i] = j
data['职位名称'][:5]

Tableau数据格式化

IF  CONTAINS([职位名称],'财务') THEN '财务'
ELSEIF CONTAINS([职位名称],'Hadoop') THEN 'Hadoop'
ELSEIF CONTAINS([职位名称],'.NET') THEN '.NET'
ELSEIF CONTAINS([职位名称],'.net') THEN '.NET'
ELSEIF CONTAINS([职位名称],'.Net') THEN '.NET'
ELSEIF CONTAINS([职位名称],'C++') THEN 'C++开发工程师'
ELSEIF CONTAINS([职位名称],'Java') THEN 'Java开发工程师'
ELSEIF CONTAINS([职位名称],'Android') THEN 'Android'
ELSEIF CONTAINS([职位名称],'android') THEN 'Android'
ELSEIF CONTAINS([职位名称],'Python') THEN 'Python开发工程师'
ELSEIF CONTAINS([职位名称],'2D') THEN '2D游戏'
ELSEIF CONTAINS([职位名称],'2d') THEN '2D游戏'
ELSEIF CONTAINS([职位名称],'3D') THEN '3D游戏'
ELSEIF CONTAINS([职位名称],'3d') THEN '3D游戏'
ELSEIF  CONTAINS([职位名称],'产品') THEN '产品经理'
ELSEIF CONTAINS([职位名称],'前端') THEN 'web前端'
ELSEIF  CONTAINS([职位名称],'PHP') THEN 'PHP'
ELSEIF CONTAINS([职位名称],'算法') THEN '算法工程师'
ELSEIF  CONTAINS([职位名称],'机器学习') THEN '人工智能'
ELSEIF  CONTAINS([职位名称],'安全') THEN '网络安全工程师'
ELSEIF CONTAINS([职位名称],'游戏测试') THEN '游戏测试'
ELSEIF  CONTAINS([职位名称],'测试') THEN '测试'
ELSEIF  CONTAINS([职位名称],'网页') THEN '网页设计'
ELSEIF  CONTAINS([职位名称],'特效') THEN '特效'
ELSEIF  CONTAINS([职位名称],'数据分析') THEN '数据分析'
ELSEIF  CONTAINS([职位名称],'产品运营') THEN '产品运营'
ELSEIF  CONTAINS([职位名称],'游戏运营') THEN '游戏运营'
ELSEIF  CONTAINS([职位名称],'新媒体运营') THEN '新媒体运营'
ELSEIF  CONTAINS([职位名称],'商家运营') THEN '商家运营'
ELSEIF  CONTAINS([职位名称],'文案') THEN '文案'
ELSEIF  CONTAINS([职位名称],'客服') THEN '客服'
ELSEIF  CONTAINS([职位名称],'市场') THEN '市场'
ELSEIF  CONTAINS([职位名称],'策划') THEN '策划'
ELSEIF CONTAINS([职位名称],'公关') THEN '公关'
ELSEIF CONTAINS([职位名称],'广告') THEN '广告类'
ELSEIF CONTAINS([职位名称],'销售') THEN '销售'
ELSEIF CONTAINS([职位名称],'客户') THEN '客户经理'
ELSEIF CONTAINS([职位名称],'前台') THEN '前台'
ELSEIF CONTAINS([职位名称],'会计') THEN '会计'
ELSEIF CONTAINS([职位名称],'审计') THEN '审计'
ELSEIF CONTAINS([职位名称],'区块链') THEN '区块链'
ELSEIF CONTAINS([职位名称],'法务') THEN '法务'
ELSEIF CONTAINS([职位名称],'数据仓库') THEN '数据仓库'
ELSEIF CONTAINS([职位名称],'flash') THEN 'Flash'
ELSEIF CONTAINS([职位名称],'Flash') THEN 'Flash'
ELSEIF CONTAINS([职位名称],'运维') THEN '运维工程师'
ELSEIF CONTAINS([职位名称],'嵌入式') THEN '嵌入式'
ELSEIF CONTAINS([职位名称],'游戏运营') THEN '游戏运营'
ELSEIF CONTAINS([职位名称],'主播') THEN '主播'
ELSEIF CONTAINS([职位名称],'FPGA') THEN 'FPGA'
ELSEIF CONTAINS([职位名称],'交互') THEN '交互设计师'
ELSEIF CONTAINS([职位名称],'手游') THEN '手游推广'
ELSEIF CONTAINS([职位名称],'美术设计师') THEN '美术设计师'
ELSEIF CONTAINS([职位名称],'Go') THEN 'Go语言'
ELSEIF CONTAINS([职位名称],'Shell') THEN 'Shell'
ELSEIF CONTAINS([职位名称],'产品助理') THEN '产品助理'
ELSEIF CONTAINS([职位名称],'图像') THEN '图像处理与识别'
ELSEIF CONTAINS([职位名称],'IDC') THEN 'IDC'
ELSEIF CONTAINS([职位名称],'CDN') THEN 'CDN'
ELSEIF CONTAINS([职位名称],'自动化') THEN '自动化'
ELSEIF CONTAINS([职位名称],'原画') THEN '原画师'
ELSEIF CONTAINS([职位名称],'单片机') THEN '嵌入式'
ELSEIF CONTAINS([职位名称],'游戏场景') THEN '游戏场景'
ELSEIF CONTAINS([职位名称],'角色') THEN '游戏角色'
ELSEIF CONTAINS([职位名称],'Orcal') THEN 'Orcal'
ELSEIF CONTAINS([职位名称],'sqlServer') THEN 'SQLServer'
ELSEIF CONTAINS([职位名称],'Hive') THEN 'Hive'
ELSEIF CONTAINS([职位名称],'DB2') THEN 'DB2'
ELSEIF CONTAINS([职位名称],'HR') THEN '人事'
ELSEIF CONTAINS([职位名称],'人事') THEN '人事'
ELSEIF CONTAINS([职位名称],'律师') THEN '律师'
ELSEIF CONTAINS([职位名称],'金融') THEN '金融'
ELSEIF CONTAINS([职位名称],'学前教育') THEN '教育'
ELSEIF CONTAINS([职位名称],'教育') THEN '教育'
ELSEIF CONTAINS([职位名称],'老师') THEN '教育'
ELSEIF CONTAINS([职位名称],'风控') THEN '风控'
ELSEIF CONTAINS([职位名称],'算法') THEN '算法工程师'
ELSEIF CONTAINS([职位名称],'MongGo') THEN 'MongGoDB'
ELSEIF CONTAINS([职位名称],'推广') THEN '推广'
ELSEIF CONTAINS([职位名称],'主管') THEN '主管'
ELSEIF CONTAINS([职位名称],'销售') THEN '销售'
ELSEIF CONTAINS([职位名称],'实施') THEN '实施工程师'
ELSEIF CONTAINS([职位名称],'安全') THEN '安全工程师'
ELSEIF CONTAINS([职位名称],'体验') THEN '游戏体验'
ELSEIF CONTAINS([职位名称],'用户') THEN '用户研究'
ELSEIF CONTAINS([职位名称],'无线') THEN '无线产品设计'
ELSEIF CONTAINS([职位名称],'网络优化') THEN '网络优化'
ELSEIF CONTAINS([职位名称],'拓展') THEN '商务拓展'
ELSEIF CONTAINS([职位名称],'房地产') THEN '房地产'
ELSEIF CONTAINS([职位名称],'采购') THEN '采购'
ELSEIF CONTAINS([职位名称],'店长') THEN '店长'
ELSEIF CONTAINS([职位名称],'收银') THEN '收银'
ELSEIF CONTAINS([职位名称],'编导') THEN '编导'
ELSEIF CONTAINS([职位名称],'动漫') THEN '动漫设计'
ELSEIF CONTAINS([职位名称],'电气') THEN '电气工程师'
ELSEIF CONTAINS([职位名称],'资料') THEN '资料员'
ELSEIF CONTAINS([职位名称],'剪辑') THEN '剪辑'
ELSEIF CONTAINS([职位名称],'物流') THEN '物流'
ELSEIF CONTAINS([职位名称],'物联网') THEN '物联网'
ELSEIF CONTAINS([职位名称],'小程序') THEN '小程序'
ELSEIF CONTAINS([职位名称],'大数据') THEN '大数据'
ELSEIF CONTAINS([职位名称],'网络工程') THEN '网络工程师'
ELSEIF CONTAINS([职位名称],'iOS') THEN 'iOS'
ELSEIF CONTAINS([职位名称],'ios') THEN 'iOS'
ELSEIF CONTAINS([职位名称],'IOS') THEN 'iOS'
ELSEIF CONTAINS([职位名称],'App') THEN 'App'
ELSEIF CONTAINS([职位名称],'app') THEN 'App'
ELSEIF CONTAINS([职位名称],'助理') THEN '助理'
ELSEIF CONTAINS([职位名称],'AI') THEN '人工智能'
ELSEIF CONTAINS([职位名称],'BD') THEN 'BD'
ELSEIF CONTAINS([职位名称],'bD') THEN 'bD'
ELSEIF CONTAINS([职位名称],'动画') THEN '动画'
ELSEIF CONTAINS([职位名称],'UI') THEN 'UI设计'
ELSEIF CONTAINS([职位名称],'编辑') THEN '编辑'
ELSEIF CONTAINS([职位名称],'班主任') THEN '教育'
ELSEIF CONTAINS([职位名称],'电商') THEN '电商'
ELSEIF CONTAINS([职位名称],'短视频') THEN '短视频'
ELSEIF CONTAINS([职位名称],'分布式') THEN '分布式'
ELSEIF CONTAINS([职位名称],'服务端') THEN '服务端'
ELSEIF CONTAINS([职位名称],'服务器') THEN '服务端'
ELSEIF CONTAINS([职位名称],'实习') THEN '实习'
ELSEIF CONTAINS([职位名称],'出纳') THEN '财务'
ELSEIF CONTAINS([职位名称],'架构') THEN '架构师'
ELSEIF CONTAINS([职位名称],'BI') THEN 'BI'
ELSEIF CONTAINS([职位名称],'C#') THEN 'C#开发工程师'
ELSEIF CONTAINS([职位名称],'驱动') THEN '驱动开发'
ELSEIF CONTAINS([职位名称],'DBA') THEN 'DBA'
ELSEIF CONTAINS([职位名称],'ETL') THEN 'ETL'
ELSEIF CONTAINS([职位名称],'H5') THEN 'H5'
ELSEIF CONTAINS([职位名称],'NET') THEN '.NET'
ELSEIF CONTAINS([职位名称],'Node') THEN 'Node.js开发工程师'
ELSEIF CONTAINS([职位名称],'数据库') THEN '数据库管理'
ELSEIF CONTAINS([职位名称],'PGC') THEN 'PGC'
ELSEIF CONTAINS([职位名称],'PR') THEN 'PR'
ELSEIF CONTAINS([职位名称],'QA') THEN 'QA'
ELSEIF CONTAINS([职位名称],'计算') THEN '大数据'
ELSEIF CONTAINS([职位名称],'运营') THEN '产品运营'
ELSEIF CONTAINS([职位名称],'设计') THEN '设计'

ELSE '其它'
END

整合并提取数据

import numpy as np
import pandas as pd
import warnings
warnings.filterwarnings('ignore')
data = pd.read_csv('E:\\aatableau\\data.csv',encoding='gbk')
data.shape
data.head(100)
data.info()
for i, j in enumerate(data['薪资']):
    j = j.replace('k', '').replace('K', '').replace('以上', '-0')
    j1 = int(j.split('-')[0])
    j2 = int(j.split('-')[1])
    j3 = 1/2 * (j1+j2)
    data['薪资'][i] = j3*1000
data['薪资'].head(10)   

for i, j in enumerate(data['公司福利']):
    j = j.replace('[', '').replace(']', '')
    data['公司福利'][i] = j    
data['公司福利'][:10]
for i, j in enumerate(data['公司福利']):
    j = j.replace('\'','')
    data['公司福利'][i] = j    
data['公司福利'][:10]
for i, j in enumerate(data['职位名称']):
    j = j.replace('【', '').replace('】', '')
    data['职位名称'][i] = j
data['区域'] = data['区域'].fillna("未知")
data['区域'][:10]   
data['职位名称'][:100]
data['城市'] = data['城市'].fillna("其他")
data['城市'][:10]
for i, j in enumerate(data['职位名称']):
    if 'android开发' in j:
        j = 'Android开发工程师'
    if 'Android开发' in j:
        j = 'Android开发工程师'
    if 'C++开发' in j:
        j = 'C++开发工程师'
    data['职位名称'][i] = j
data['职位名称'][:5]
data.to_csv('E:\\aatableau\\data_cleaned.csv')

数据已经清洗完毕，后面再进行可视化就方便了很多

不凡Zzz
关注
  • 6
    点赞
  • 踩
  • 55
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
分享一个1000块钱的Python私活单，金融Excel数据清洗
python_One1的博客
05-08 150
分享一个今年一月份接的一个价值1000元的Python数据清洗的金融数据私单，细节确实是接单以来最为复杂的一个案例。废话不多说，给大家分享下整个案例的需求和实现过程。
Python学习笔记，51job数据清洗篇
qq_43295087的博客
10-22 1671
数据清洗篇 思路： 1.主要分析的python资薪情况。而工资会有几种情况，如万/月；万/年；千/月；万以上/年；万以上/月；这明显就不方便我们分析。在这个我们统一转化为10k/月的形式进行分析。 2.明确目标，这里使用split,replace,lambda来进行数据清洗。 还是先上代码： import pymysql import pandas as pda import numpy as n...
Python数据分析：数据清洗实操+实操案例：电商用户数据清洗
最新发布
2301_81446229的博客
06-20 1756
数据分析是现代商业决策的核心，而数据清洗则是确保分析结果准确性的关键步骤。本文将介绍使用Python进行数据清洗的基本方法和一些实用的技巧。在数据分析过程中，原始数据往往存在各种问题，如缺失值、重复记录、异常值或格式不一致等。这些问题如果不解决，将直接影响分析结果的准确性和可靠性。数据清洗的目的是确保数据的质量和一致性，为后续的数据分析打下坚实的基础。在开始数据清洗之前，我们需要准备Python环境。通常，我们会使用以下库：pandas：用于数据处理和分析。numpy：提供数学运算功能。
nba球员python_使用python将NBA薪金与绩效样本球员分析相关联
weixin_26705651的博客
08-22 1724
nba球员python(Notes: All opinions are my own) (注：所有观点均为我自己) 介绍 (Introduction) This article explores correlations between NBA player salary data and actual on-court performance, using stats from the 20...
java对薪资数据进行清洗,如何在Java中正确清理JDBC资源？
weixin_42361133的博客
02-26 121
What is considered best practices when cleaning up JDBC resources and why? I kept the example short, thus just the cleaning up of the ResultSet.finally{if(rs != null)try{ rs.close(); } catch(SQLExcept...
Python数据挖掘 之 数据处理（使用pandas对智联招聘上的北京地区python岗位进行数据清洗）
徐代龙的技术专栏
05-02 4263
上两篇我们爬了一篇智联招聘的数据，主要是北京地区python开发岗位的数据，数据量不是很大，几千条，这一篇文章我们队智联招聘的数据进行数据处理。 一直以来，我以为的数据处理是已经在python爬虫阶段已经做好了，其实并不是，python爬虫并没有把数据处理这一部分的工作完全给做好，数据处理只是数据挖掘的一小部分，接下来，就是在jupyter notebook上进行数据处理，到中途就卡壳掉...
使用python对OpenStreetMap地图数据进行清洗
01-17
使用pyton对OpenStreetMap地图数据进行清洗 import lxml.etree as ET from collections import defaultdict import matplotlib.pyplot as plt %matplotlib inline import pprint import re import codecs import ...
Python pandas 数据清洗 基础教程
01-15
数据清洗是对原始数据进行处理和转换的过程，目的是为了将原始数据转换为可以用于分析的格式。常用的方法包括： * 数据合并 * 数据转换 * 数据补值 * 数据探索 结论 Python pandas 库是一个非常流行的数据处理库...
python微博数据清洗过滤微博数据处理
04-20
# 过滤文本中的html链接等 # 提取微博中的话题名称#和人名@ # 分词 #去除停用词 # 表情处理
Python数据清洗实践
02-24
在开始做数据清洗前，需要对Numpy和Pandas库有基本的理解。数据清洗名如其意，其过程为标识并修正数据集中不准确的记录，识别数据中不可靠或干扰部分，然后重建或移除这些数据。数据清洗是数据科学中很少提及的一点...
python数据清洗
07-22
### Python 数据清洗知识点详解 #### 一、数据清洗的重要性及必要性 数据清洗在整个数据分析过程中扮演着极其重要的角色。在大数据时代，数据无处不在，然而，并非所有的数据都能直接拿来使用。通常情况下，原始...
数据稽核规则模板.xlsx
12-02
本文档适用于对数据进行稽核、记录
PART 1:基于大数据人才岗位招聘情况对数据进行清洗、初步分析
ventureyyt的博客
04-03 852
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、文本函数二、数学函数1.常使用的函数2.统计指标（1）集中趋势指标：平均数、中位数、众数（2）离散趋势指标：极差、平均差、标准差总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、文本函数 功能：对文本进行提取、查找、转换、更新的函数 二、数学函数 功能：对数值类数据进行计算。（数学换算、统计
Python数据分析与机器学习-交易数据异常检测
那些疯狂到以为自己能够改变世界的人，才能真正改变世界！
12-31 3121
Python数据分析与机器学习-交易数据异常检测
python数据分析与挖掘实战 配套资源_Python数据分析与挖掘实战（pdf+epub+mobi+txt+azw3）...
weixin_39806779的博客
11-24 455
6.1　背景与挖掘目标传统的防窃漏电方法主要通过定期巡检、定期校验电表、用户举报窃电等方法来发现窃电或计量装置故障。但这种方法对人的依赖性太强，抓窃查漏的目标不明确。目前，很多供电局主要通过营销稽查人员、用电检查人员和计量工作人员利用计量异常报警功能和电能量数据查询功能开展用户用电情况的在线监控工作，通过采集电量异常、负荷异常、终端报警、主站报警、线损异常等信息，建立数据分析模型，来实时监测窃漏电...
python数据处理（招聘信息薪资字段的处理）
brytlevson的博客
07-13 4852
爬取了51job上面的数据，其中有薪资字段需要做处理 数据部分格式如下图： 处理好之后的数据截图： 处理需求： 1.把 “salary” 列中带“ 万/年 元/天 ”关键字的行都删除 2.把 “salary” 列中 带“千/月” 关键字的数据变换一下 如“6-9千/月”转化为“6k-9k” 3.把 “salary” 列中 带“万/月” 关键字的数据变换一下 如“1-1.5万/月”转换为"10k-15k" 处理代码： # -*- coding: utf-8 -*- import csv import
python数据分析与挖掘实战-第六章拓展偷漏税用户识别
wx1871428的博客
07-13 558
第六章分别使用了LM神经网络和CART 决策树构建了 电力窃漏电用户自动识别模型，章末提出了拓展思考–偷漏税用户识别。 第六章及拓展思考完整代码 https://github.com/dengsiying/Electric_leakage_users_automatic_identify.git 项目要求：汽车销售行业在税收上存在多种偷漏税情况导致政府损失大量税收。汽车销售企业的部分经营指标能在一定程度上评估企业的偷漏税倾向，附件数据提供了汽车销售行业纳税人的各个属性和是否偷漏税标识，请结合各个属性，
初级选手数据分析——Python职位数据分析全链路
m0_68104000的博客
04-18 638
最近在做Python职位分析的项目，做这件事的背景是因为接触Python这么久，还没有对Python职位有一个全貌的了解。所以想通过本次分析了解Python相关的职位有哪些、在不同城市的需求量有何差异、薪资怎么样以及对工作经验有什么要求等等。
python使用-使用python进行数据清洗
06-11
使用Python进行数据清洗的步骤如下： 1. 导入需要的Python库，例如pandas、numpy等。 2. 读取原始数据文件，可以使用pandas库中的read_csv函数读取CSV文件或者使用read_excel函数读取Excel文件。 3. 对原始数据...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值