编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法

这篇文章主要介绍了编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法,用到了Python的urllib和urllib2模块,需要的朋友可以参考下
抓取豆瓣电影TOP100
一、分析豆瓣top页面，构建程序结构
1.首先打开网页http://movie.douban.com/top250?start，也就是top页面
然后试着点击到top100的页面，注意带top100的链接依次为

http://movie.douban.com/top250?start=0
http://movie.douban.com/top250?start=25
http://movie.douban.com/top250?start=50
http://movie.douban.com/top250?start=75

2.然后通过查看源码，发现电影名的代码如下：

肖申克的救赎
/ The Shawshank Redemption
如图，因为有一些英文名等描述，通过正则抓取有些干扰，可能还需要后续过滤。

根据以上信息，此程序主要分以下3个步骤：

二、构建url地址池

抓取top100电影名称
依次打印输出
依次写出代码

1.构建url地址池。代码如下：

mport urllib2
import re
# ----------确定url地址池------------
pre_url = 'http://movie.douban.com/top250?start='
top_urls = []
# 因为top100，每页25部电影，故为4页,从零开始
f