爬取豆瓣排名前100的电影

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

最近很多工作需要用到爬虫去爬取各种数据。本人也不是专业爬虫攻城狮，之前也没做过爬虫的相关工作。现在实际中遇到了要用，那就只好硬着头皮上吧。趁着周末稍微有点时间，网上找了找爬虫相关的资料与项目，然后参考其中某一个比较简单一些的，先上手实际搞一个练练手再说。

1.爬虫的一般思路

爬虫的基本想法就是以一个初始的url为起点，从这个url出发获得更多的url，并从这些网页中获取想要的数据。像google或者baidu这种级别的公司，爬虫是有非常复杂的算法与非常庞大的工程基础去实现的。我们现在是入门阶段，暂且先不考虑那么复杂的逻辑，先从最简单的获取几个页面的数据开始。

2.可以直接运行的代码

废话不多说，直接上可以运行的源码。此部分代码参考了github上得开源项目，并在原来的基础上做了优化与调整。

#coding:utf-8
import re
import urllib2

"""
1.获取排名前100的电影
2.每页电影的数量是25个
3.获得的html页面中，跟电影名相关的有是这行：
    <span class="title">肖申克的救赎</span>
  如下这行跟上一行的结构类似，所以正则匹配的时候需要将此行去掉：
    <span class="title">&nbsp;/&nbsp;The Shawshank Redemption</span>
"""
class SpiderDouBan(object):

    def __init__(self):
        self.page = 0
        self.base_url = "http://movie.douban.com/top250?start={page}&filter=&type="
        self.result = []
        self._index = 1

    def get_page_html(self):
        url = self.base_url
        try:
            my_page = urllib2.urlopen(url.format(page = self.page * 25)).read().decode("utf-8")
        except urllib2.URLError, ex:
            if hasattr(ex, "code"):
                print "The server couldn't fulfill the request."
                print "Error code: %s" % ex.code
            elif hasattr(ex, "reason"):
                print "We failed to reach a server. Please check your url and read the Reason"
                print "Reason: %s" % ex.reason

        return my_page

    def get_index_and_name(self,my_page):
        tmp_result = []
        items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S)
        for item in items:
            if item.find("&nbsp") == -1 :
                tmp_result.append("top" + str(self._index) + " " + item)
                self._index += 1

        self.result.extend(tmp_result)

    def start_spider(self):
        while self.page <= 3:
            my_page = self.get_page_html()
            self.get_index_and_name(my_page)
            self.page += 1

def main():
    spider = SpiderDouBan()
    spider.start_spider()
    for item in spider.result:
        print item

if __name__ == '__main__':
    main()

3.代码运行结果

top1 肖申克的救赎
top2 这个杀手不太冷
top3 霸王别姬
top4 阿甘正传
top5 美丽人生
top6 千与千寻
top7 辛德勒的名单
top8 泰坦尼克号
top9 盗梦空间
top10 机器人总动员
top11 海上钢琴师
top12 三傻大闹宝莱坞
top13 忠犬八公的故事
top14 放牛班的春天
top15 大话西游之大圣娶亲
top16 教父
top17 龙猫
top18 乱世佳人
top19 楚门的世界
top20 天堂电影院
top21 当幸福来敲门
top22 触不可及
top23 搏击俱乐部
top24 十二怒汉
top25 指环王3：王者无敌
top26 无间道
top27 熔炉
top28 怦然心动
top29 罗马假日
top30 天空之城
top31 少年派的奇幻漂流
top32 大话西游之月光宝盒
top33 鬼子来了
top34 两杆大烟枪
top35 蝙蝠侠：黑暗骑士
top36 飞屋环游记
top37 星际穿越
top38 飞越疯人院
top39 窃听风暴
top40 活着
top41 海豚湾
top42 闻香识女人
top43 V字仇杀队
top44 美丽心灵
top45 教父2
top46 指环王2：双塔奇兵
top47 指环王1：魔戒再现
top48 哈尔的移动城堡
top49 天使爱美丽
top50 情书
top51 死亡诗社
top52 美国往事
top53 七宗罪
top54 钢琴家
top55 狮子王
top56 勇敢的心
top57 致命魔术
top58 被嫌弃的松子的一生
top59 辩护人
top60 剪刀手爱德华
top61 小鞋子
top62 音乐之声
top63 饮食男女
top64 控方证人
top65 低俗小说
top66 入殓师
top67 本杰明·巴顿奇事
top68 沉默的羔羊
top69 蝴蝶效应
top70 黑客帝国
top71 拯救大兵瑞恩
top72 玛丽和马克思
top73 西西里的美丽传说
top74 素媛
top75 心灵捕手
top76 幽灵公主
top77 第六感
top78 阳光灿烂的日子
top79 让子弹飞
top80 大鱼
top81 春光乍泄
top82 射雕英雄传之东成西就
top83 大闹天宫
top84 阳光姐妹淘
top85 重庆森林
top86 上帝之城
top87 禁闭岛
top88 甜蜜蜜
top89 致命ID
top90 告白
top91 一一
top92 加勒比海盗
top93 爱在黎明破晓前
top94 阿凡达
top95 风之谷
top96 萤火虫之墓
top97 布达佩斯大饭店
top98 狩猎
top99 断背山
top100 爱在日落黄昏时

4.简单的说明

相关的注意事项其实在源码中已经有所注释。再啰嗦几句
1.注意豆瓣的页面是25部电影一页。翻页的时候只有start对应的参数发生变化。
2.在对得到的html代码进行正则匹配的时候，注意有一行的结构与包含电影名一行的结构是一样的，需要进行相应的处理去除。