利用beautiful soup获取豆瓣top250

Beautiful Soup 是用Python写的一个HTML/XML的解析器,它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用的导航(navigating),搜索以及修改剖析树的操作。它可以大大节省你的编程时间。下面代码实现了利用beautiful soup获取豆瓣电影top250。

# -*- coding: UTF-8 -*-
import urllib2
import re
from bs4 import BeautifulSoup

class Top250:
    def __init__(self,page=0):
        self.page=page
    
    def ParseUrl(self):
        Top250Url='http://movie.douban.com/top250?start=%s&filter=&format='%self.page
        response=urllib2.urlopen(Top250Url)
        html_doc=response.read()
        soup=BeautifulSoup(html_doc)
        for eachitem in soup.find_all(class_="item"):
            print '='*120
            title=eachitem.find(class_="title")
            rating=eachitem.find(class_=re.compile("rating.*"))
            quote=eachitem.find(class_="inq")
            if title and rating:
                print title.get_text()+": "+rating.get_text()
            if quote:
                print quote.get_text()
            else:
                print "没有评论"
            
                
       
if __name__=='__main__':  
    for i in range(0,10):
        Inst=Top250(i*25)
        Inst.ParseUrl()
    
    



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy主要包括了以下组件: •引擎用来处理整个系统的数据流处理, 触发事务(框架核心) •调度器用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址 •下载器用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的) •爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面 •项目管道负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。 •下载器中间件位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。 •爬虫中间件介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。 •调度中间件介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。 Scrapy运行流程大概如下: 1.引擎从调度器中取出一个链接(URL)用于接下来的抓取 2.引擎把URL封装成一个请求(Request)传给下载器 3.下载器把资源下载下来,并封装成应答包(Response) 4.爬虫解析Response 5.解析出实体(Item),则交给实体管道进行进一步的处理 6.解析出的是链接(URL),则把URL交给调度器等待抓取 scrapy框架实现豆瓣电影top250的爬取

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值