Python数据清洗笔记

场景一：仅仅需要清洗去除头尾的字符的字符串

【方法】：使用strip()方法。
【返回值类型】：字符串
【案例】：

>>> str = '\n\xa0\xa0\xa0\xa0\t   较为干净 的数据  \t\n\xa0\xa0\xa0\xa0 '
>>> str.strip('\xa0 \n\t')    // 去除头尾包含\xa0，空格，\n或\t字符的字符串
'较为干净 的数据'
>>> str.lstrip('\xa0 \n\t')   // 仅清除左侧字符
'较为干净的数据  \t\n\xa0\xa0\xa0\xa0 '
>>> str.rstrip('\xa0 \n\t')   // 仅清除右侧字符
'\n\xa0\xa0\xa0\xa0\t   较为干净的数据'

可见在strip()中填写要去除头尾的字符，即可去除，但只要遇到字符串中第一个非指定去除的字符，便停止遍历，也就无法清除中间的字符。

场景二：需要清洗任意位置包含指定字符的字符串

【方法】：使用正则表达式中re模块提供的sub()函数来实现替换。
【返回值类型】：字符串
【语法】：re.sub(pattern, repl, string)

• pattern : 正则中的模式字符串。
• repl : 替换的字符串，也可为一个函数。
• string : 要被查找替换的原始字符串。

【案例】

>>> import re
// 1.清除注释'#'以及后面所有字符
>>> str = '2004-959-559 # 这是一个国外电话号码'
>>> re.sub('#.*$', '', str)  // 此处使用'#.+$'也可以
'2004-959-559 '
// 2.清除所有非数字字符
>>> str = '2004-959-559 '
>>> re.sub('\D', '', str)  // 此处使用'\W'也可以
'2004959559'
// 3.清除任意空白字符，如空格、\t、\n和\xa0
>>> str = '\n\xa0\xa0\xa0\xa0\t   较为干净 的数据  \t\n\xa0\xa0\xa0\xa0 '
>>> re.sub('\s', '', str)
'较为干净的数据'

可见在sub()中可以通过正则表达式，灵活的匹配要清洗的字符，达到清洗目的。

场景三：需要从冗长的HTML中提取指定字符串

【方法】：使用正则表达式中re模块提供的findall()函数来实现精确查询提取。
【返回值类型】：列表
【语法】：re.findall(pattern, string)

• pattern : 正则中的模式字符串。
• string : 要被查找的原始字符串。

【案例】

>>> import re
>>> str = '<script>  var pagecount = 5; var currentPage = 3; </script>'
// '?'表示只匹配前面0或1个表达式,若没有则会匹配到最后一个';',即返回['5; var currentPage = 3']
>>> re.findall('var pagecount = (.*?);', str1) 
['5']
>>> re.findall('var pagecount = (.*?);', str1)[0]
'5'
>>> re.findall('(var) pagecount = (\d);', str1)  
[('var', '5')]
// 对于URL响应，可提取HTML内容并借用findall来提取指定数据
>>> re.findall('var pagecount = (.*?);', response.body.decode())[0]
'6'

以下列出部分常用正则模式表，完整表见此：

模式	描述
.	匹配任意字符，除了换行符
[…]	用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’
[^…]	不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符
a | b	匹配a或b
\w	匹配字母数字及下划线
\W	匹配非字母数字及下划线
\s	匹配任意空白字符，等价于 [\t\n\r\f、空格和\xa0]
\S	匹配任意非空字符
\d	匹配任意数字，等价于[0-9]
\D	匹配任意非数字
(re)	对正则表达式分组并返回与()匹配的文本
re*	匹配0个或多个的表达式
re+	匹配1个或多个的表达式
re?	匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
^	匹配字符串的开头
$	匹配字符串的末尾

场景四：需要通过指定分隔符对字符串进行切片

【方法】：使用split()方法
【返回值类型】：列表
【语法】：str.split(str='', num=string.count(str))

• str – 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等
• num – 分割次数。默认为 -1, 即分隔所有。

【案例】：

>>> str = "Line1-abcdef \nLine2-abc \nLine4-abcd";
>>> str.split();       # 以空格为分隔符，包含 \n
['Line1-abcdef', 'Line2-abc', 'Line4-abcd']
>>> str.split(' ', 1); # 以空格为分隔符，分隔成两个
['Line1-abcdef', '\nLine2-abc \nLine4-abcd']

场景五：需要将序列中(如列表)的元素以指定的字符连接生成一个新的字符串

【方法】：使用join()方法
【返回值类型】：字符串
【语法】：str.join(sequence)

• sequence – 要连接的元素序列(如list或tuple)

【案例】：

>>> a = ['aa', 'bb', 'cc']
>>> '-'.join(a)
'aa-bb-cc'
// 也可以用来将列表转换为字符串
>>> ''.join(['ddddd'])
'ddddd'

本文仅为笔者学习笔记，数据清洗实则需要很大篇幅去写，详细清洗步骤请见参考文献。

【参考文献】：
[1] Python爬虫自然语言清洗组件v1.0.0(规则清洗+通用清洗)
[2] 使用正则表达式清洗HTML标签
[3] 正则表达式模式匹配表-菜鸟教程