爬取豆瓣网电影信息

#coding:utf-8
import urllib2
import bs4
from bs4 import BeautifulSoup
#爬取豆瓣网电影简介，包括电影名，导演，评分以及介绍等
class DBTOP():
    def __init__(self):
        self.usr_agent='Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
        self.headers={'Usr_Agent':self.usr_agent}
        self.pageIndex=0
    def getHtml(self,pageIndex):
        #http://movie.douban.com/top250?start=0&filter=&type=%3Ctype%20%27type%27%3E
        #http://movie.douban.com/top250?start=25&filter=&type=%3Ctype%20%27type%27%3E
        #http://movie.douban.com/top250?start=50&filter=&type=%3Ctype%20%27type%27%3E
        #发现网页的规律，填写好url。
        #开始写的是url='http://movie.douban.com/top250?start='+str(pageIndex)+'&filter=&type=%3Ctype%20%27type%27%3E'
        #后来发现去掉&filter=&type=%3Ctype%20%27type%27%3E也可以
        try:
            url='http://movie.douban.com/top250?start='+str(pageIndex)
            request=urllib2.Request(url,headers=self.headers)
            page=urllib2.urlopen(request)
            html=page.read()
            return html
        except urllib2.URLError,e:
            if hasattr(e,'reason'):
                print u"连接失败",e.reason
                return None
    def getItems(self):
        #这是开始定义的方法L=[0,25,50,75,100,125,150,170,200,225]，具体是忘了range的所有参数
        L=range(0,226,25)
        for pageIndex in L:
            html=self.getHtml(pageIndex)
            soup=BeautifulSoup(html)
            #分析源代码，发现所需内容都在<li>标签中，但并不是一开始就在，需要进行索引取值
            li_list=soup.find_all("li")
            l=range(19,44)
            f=open('doubantop250.txt','a+')
            for i in l:
                f.write(li_list[i].get_text("|",strip=True).encode('utf-8')+'\n')
            f.close()
spider=DBTOP()
spider.getItems()

小某说：

关于range（）函数的用法：

range(初始值，结束值，间隔值)//range(start,stop,step)

1.初始值一般默认为0。range(5)=range(0,5)

2.结束值一般不包括本身。range(0,5)表示[0.1.2.3.4]

3.间隔值不设置时默认为1。range(0,5)=range(0,5,1)，range(0,5,2)则表示隔两个一取值，即[0,2,4]