在抓取一些数据的时候,获取到的字符串是这样的:
文章标题2432
文章内容
这种情况如果写正则匹配的话,太浪费时间了。有一个现成的工具可用
那就是w3lib。w3lib 是scrapy的基础插件,用来处理html,相当好用,以下是例子:
from w3lib.html import remove_tags
s = '文章标题2432
文章内容
'
s1 = remove_tags(s)
print(s1)
>>>文章标题2432文章内容
是不是很赞?另外,w3lib还提供了多种高度自由的方法来进行字符串清洗:
doc = '
This is a link: example
1.指定保留需要的标签:
>>> w3lib.html.remove_tags(doc, keep=('div',))
'
This is a link: example
'
2. 指定选择去除的标签:
>>> w3lib.html.remove_tags(doc, which_ones=('a','b'))
'
This is a link: example