Python数据清洗笔记

场景一:仅仅需要清洗去除头尾的字符的字符串

【方法】:使用strip()方法。
【返回值类型】:字符串
【案例】:

>>> str = '\n\xa0\xa0\xa0\xa0\t   较为干净 的数据  \t\n\xa0\xa0\xa0\xa0 '
>>> str.strip('\xa0 \n\t')    // 去除头尾包含\xa0,空格,\n或\t字符的字符串
'较为干净 的数据'
>>> str.lstrip('\xa0 \n\t')   // 仅清除左侧字符
'较为干净的数据  \t\n\xa0\xa0\xa0\xa0 '
>>> str.rstrip('\xa0 \n\t')   // 仅清除右侧字符
'\n\xa0\xa0\xa0\xa0\t   较为干净的数据'

可见在strip()中填写要去除头尾的字符,即可去除,但只要遇到字符串中第一个非指定去除的字符,便停止遍历,也就无法清除中间的字符

场景二:需要清洗任意位置包含指定字符的字符串

【方法】:使用正则表达式中re模块提供的sub()函数来实现替换
【返回值类型】:字符串
【语法】:re.sub(pattern, repl, string)

  • pattern : 正则中的模式字符串。
  • repl : 替换的字符串,也可为一个函数。
  • string : 要被查找替换的原始字符串。

【案例】

>>> import re
// 1.清除注释'#'以及后面所有字符
>>> str = '2004-959-559 # 这是一个国外电话号码'
>>> re.sub('#.*$', '', str)  // 此处使用'#.+$'也可以
'2004-959-559 '
// 2.清除所有非数字字符
>>> str = '2004-959-559 '
>>> re.sub('\D', '', str)  // 此处使用'\W'也可以
'2004959559'
// 3.清除任意空白字符,如空格、\t、\n和\xa0
>>> str = '\n\xa0\xa0\xa0\xa0\t   较为干净 的数据  \t\n\xa0\xa0\xa0\xa0 '
>>> re.sub('\s', '', str)
'较为干净的数据'

可见在sub()中可以通过正则表达式,灵活的匹配要清洗的字符,达到清洗目的。

场景三:需要从冗长的HTML中提取指定字符串

【方法】:使用正则表达式中re模块提供的findall()函数来实现精确查询提取
【返回值类型】:列表
【语法】:re.findall(pattern, string)

  • pattern : 正则中的模式字符串。
  • string : 要被查找的原始字符串。

【案例】

>>> import re
>>> str = '<script>  var pagecount = 5; var currentPage = 3; </script>'
// '?'表示只匹配前面0或1个表达式,若没有则会匹配到最后一个';',即返回['5; var currentPage = 3']
>>> re.findall('var pagecount = (.*?);', str1) 
['5']
>>> re.findall('var pagecount = (.*?);', str1)[0]
'5'
>>> re.findall('(var) pagecount = (\d);', str1)  
[('var', '5')]
// 对于URL响应,可提取HTML内容并借用findall来提取指定数据
>>> re.findall('var pagecount = (.*?);', response.body.decode())[0]
'6'

以下列出部分常用正则模式表,完整表见此

模式描述
.匹配任意字符,除了换行符
[…]用来表示一组字符,单独列出:[amk] 匹配 ‘a’,‘m’或’k’
[^…]不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符
a | b匹配a或b
\w匹配字母数字下划线
\W匹配非字母数字下划线
\s匹配任意空白字符,等价于 [\t\n\r\f空格\xa0]
\S匹配任意非空字符
\d匹配任意数字,等价于[0-9]
\D匹配任意非数字
(re)对正则表达式分组并返回与()匹配的文本
re*匹配0个或多个的表达式
re+匹配1个或多个的表达式
re?匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式
^匹配字符串的开头
$匹配字符串的末尾

场景四:需要通过指定分隔符对字符串进行切片

【方法】:使用split()方法
【返回值类型】:列表
【语法】:str.split(str='', num=string.count(str))

  • str – 分隔符,默认为所有的空字符,包括空格、换行(\n)、制表符(\t)等
  • num – 分割次数。默认为 -1, 即分隔所有。

【案例】:

>>> str = "Line1-abcdef \nLine2-abc \nLine4-abcd";
>>> str.split();       # 以空格为分隔符,包含 \n
['Line1-abcdef', 'Line2-abc', 'Line4-abcd']
>>> str.split(' ', 1); # 以空格为分隔符,分隔成两个
['Line1-abcdef', '\nLine2-abc \nLine4-abcd']

场景五:需要将序列中(如列表)的元素以指定的字符连接生成一个新的字符串

【方法】:使用join()方法
【返回值类型】:字符串
【语法】:str.join(sequence)

  • sequence – 要连接的元素序列(如list或tuple)

【案例】:

>>> a = ['aa', 'bb', 'cc']
>>> '-'.join(a)
'aa-bb-cc'
// 也可以用来将列表转换为字符串
>>> ''.join(['ddddd'])
'ddddd'

本文仅为笔者学习笔记,数据清洗实则需要很大篇幅去写,详细清洗步骤请见参考文献。

【参考文献】:
[1] Python爬虫自然语言清洗组件v1.0.0(规则清洗+通用清洗)
[2] 使用正则表达式清洗HTML标签
[3] 正则表达式模式匹配表-菜鸟教程

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SL_World

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值