这篇文章是在自己爬取51job时遇到了问题后,经过一定实践后得出的结论,由于自己是新手,卡克了很久后,突然恍然大悟,觉得非常有必要提醒自己,所以才写下了正则的一些案例。
1 正则几个基本概念:
见链接:http://www.runoob.com/regexp/regexp-example.html
2 自己的实际操作中遇到的问题
如图需要爬取这5项数据,具体的做法是复制了源码,在这里也贴出来了,那么问题来了,对应的正则表达式该是什么呢?
我自己最先的错误,也在这里展示出来。
reg = re.compile(r'<div class="el"><p class="t1 ">.*?<a target="_blank" title="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)".*? <span class="t3">(.*?)</span><span class="t4">(.*?)</span><span class="t5">(.*?)</span></div>',re.S)
好了,正确的写法如下
reg = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',re.S)
经过仔细的对比后,我们不难发现,由于缺少了几个.*?导致正则表达式的错误,我们返回到源码中,可以看出<span>的两个标签之间是有空行组成的,这里我忽视了空行(空格的存在),直接导致错误。当然如果前面写成class="el">.*><p class="t1 ">也是可以的。