初学者在使用Python爬虫和正则表达式时遇到问题，尝试从源码中提取href的网址并加上"http://www.infoq.com"前缀，同时获取title。目前能单独提取但无法同时避免重复。讨论了正则表达式的使用难度，推荐使用Scrapy、htmlparser、BeautifulSoup等库以简化爬虫开发，并分享了一篇入门爬虫的文章。
刚开始学python，对爬虫和正则表达式这部分还不是很熟悉。
我现在准备爬取下面这段源码的href和title部分，爬href中的网址后，要在每个网址前面加上"http://www.infoq.com" ，用到的库是urllib2和re.
我现在碰到的问题时，我能够把网址或者title单独爬下来，但是没有办法一起爬下来。同时爬下来后有重复，因为网址和title在下面的源码中出现了两次。我不知道这个正则表达该怎么写才正确。求教各位前辈指点迷津～
href="/cn/presentations/kanban-instantiation"
title="实例化看板">
33:08
href="/cn/presentations/kanban-instantiation"
title="实例化看板">
实例化看板
一直都是用 urllib + re 写爬虫的。。
楼主可以试一下scrapy
谈一点个人最近写爬虫的看法，可能有点答不对题。
最近和班里的人一起在用python写爬虫，有同学写爬虫的时候用正则表达式去来寻找html元素的方式。但是反应正则表达式有点难，解析起来非常费劲。
正则表达式这个东西我个人的看法是会用就行，实在不行了再自己写。
剩下的很多同学写爬虫都是采用htmlparser和beautifulsoup，就是利用第三方库，这样写起来非常的方便，不用写复杂的正则表达式了。很快就能上手而且效率上也很高。
推荐一篇我入门爬虫的文章，希望对你有帮助
iOS程序员如何使用python写网路爬虫
用 xpath，正则能不用尽量不用。
玩蛇网文章，转载请注明出处和文章网址：https://www.iplaypy.com/wenda/wd18793.html
相关文章 Recommend
扫一扫
366
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
