利用scrapy框架爬取糗事百科

qsbk.py 代码

# -*- coding: utf-8 -*-
import scrapy
from ..items import QsbkItem


class QsbkSpider(scrapy.Spider):
    name = 'qsbk'
    allowed_domains = ['qiushibaike.com']
    start_urls = ['https://www.qiushibaike.com/text/page/1/']
    def parse(self, response):
        for i in range(2,10):
            next_url = 'https://www.qiushibaike.com/text/page/{}/'.format(i)
            yield scrapy.Request(next_url, callback=self.parse_xq)




    def parse_xq(self, response):
        # with open('qsbk.html','wb') as f:
        #     f.write(response.body)
        item = QsbkItem()
        contents = response.xpath('//div[@class="content"]/span/text()').extract()

        print(contents)
        numbers = response.xpath('//span[@class="stats-vote"]/i/text()').extract()
        print(numbers)
        comments = response.xpath('//div[@class="stats"]/span[2]/a/i/text()').extract()
        print(comments)
        for i in range(0,len(numbers)):
            content = ''.join(contents[i])
            item['content'] = content
            item['number'] = numbers[i] + '好笑'
            item['comment'] = comments[i] + '评论'
            yield item

items.py 文件代码

class QsbkItem(scrapy.Item):
    content = scrapy.Field()
    number = scrapy.Field()
    comment = scrapy.Field()
    def get_insert_sql(self):
        sql = 'insert into qsbk_test(content,number,comment)values (%s,%s,%s)'
        data = (self['content'],self['number'],self['comment'])
        return (sql,data)

pipelines.py文件代码

class MysqlProjectPipeline(object):
    def process_item(self, item, spider):
        (insert_sql,data) = item.get_insert_sql()
        myhelper = MysqlHelper()
        myhelper.execute_modify_sql(insert_sql,data)

其他配置见文件scrapy基本框架位置

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
使用Python的Scrapy框架可以非常方便地豆瓣电影的数据。下面是一个简单示例: 首先,我们需要创建一个新的Scrapy项目。在命令行中执行以下命令: ``` scrapy startproject douban_movies ``` 接下来,进入项目目录: ``` cd douban_movies ``` 然后,我们可以创建一个名为`movies`的Spider来定义我们想要的网页和处理数据的逻辑。在项目目录下执行以下命令: ``` scrapy genspider movies movie.douban.com ``` 这会在`spiders`目录下生成一个名为`movies.py`的文件。我们可以在这个文件中编写虫代码。 首先,我们需要定义要的网址,在`start_urls`中添加豆瓣电影的首页地址: ```python start_urls = ['https://movie.douban.com/'] ``` 然后,我们需要定义如何解析网页和提数据。我们可以使用XPath或CSS选择器来定位需要的数据。这里以使用XPath为例: ```python def parse(self, response): # 提电影名字 movie_names = response.xpath('//div[@class="hd"]/a/span/text()').extract() for name in movie_names: print(name) # 提评分 scores = response.xpath('//span[@class="rating_num"]/text()').extract() for score in scores: print(score) ``` 在上面的代码中,我们使用XPath选择器来提电影的名字和评分,并打印出来。你可以根据需要修改这部分代码,比如将数据保存到数据库或文件中。 最后,在命令行中执行以下命令来运行虫: ``` scrapy crawl movies ``` 以上就是使用Python的Scrapy框架豆瓣电影的简单示例。你可以根据自己的需求进一步扩展和优化这个虫,比如添加翻页功能或处理更复杂的网页结构。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值