关于爬取豆瓣网几页数据将其以列表的形式输出

本文介绍如何使用PyCharm进行Python爬虫,通过安装jsonpath库,爬取豆瓣电影Top250的电影标题。从指定起始页到结束页,每页电影名以列表形式输出,涉及的步骤包括请求、内容获取和解析。
摘要由CSDN通过智能技术生成

关系PyCharm爬取豆瓣网几页数据时,我们要用列表输出时要注意我们一定要安装完jsonpath库,如果没安装请用命令安装pip install jsonpath,或者直接点settings,找到python interpreter再点击"+",搜索关键字进行安装。我们要用函数

import urllib.parse

import urllib.request

import json

import jsonpath

def create_request(page):

    base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&'

    data = {

        'start': (page - 1) * 20,

        'limit': 20,

        'pn': 2

    }

    data = urllib.parse.urlencode(data)

    url = base_url + data

    print(url)

    headers = {

        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36 Edg/123.0.0.0'

    }

    reques

  • 8
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
爬取豆瓣的多页数据,可以使用Scrapy框架,并且需要了解一些XPath语法。 首先,打开豆瓣电影的页面,可以看到每一页的URL都有一个类似于这样的格式:https://movie.douban.com/top250?start=25&filter= 。其中,start参数表示从第几个电影开始,每页显示25个电影。所以,我们可以通过改变start参数的值来获取不同页的电影数据。 接下来,我们可以创建一个Scrapy项目,并且在spider中编写爬虫代码。代码如下: ```python import scrapy class DoubanSpider(scrapy.Spider): name = "douban" allowed_domains = ["douban.com"] start_urls = [ "https://movie.douban.com/top250" ] def parse(self, response): # 获取下一页的URL,并交给parse继续抓取数据 next_page = response.xpath('//span[@class="next"]/a/@href') if next_page: url = response.urljoin(next_page[0].extract()) yield scrapy.Request(url, self.parse) # 解析当前页面的电影数据 for movie in response.xpath('//div[@class="info"]'): yield { 'title': movie.xpath('div[@class="hd"]/a/span[@class="title"]/text()').extract_first(), 'rating': movie.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract_first(), 'quote': movie.xpath('div[@class="bd"]/p[@class="quote"]/span/text()').extract_first(), } ``` 在这个代码中,我们首先定义了爬虫的名称、允许爬取的域名和起始URL。然后,在parse方法中,我们先获取下一页的URL,并通过yield关键字交给Scrapy继续抓取数据。接着,我们使用XPath语法解析当前页面的电影数据,并通过yield关键字将数据返回。最后,Scrapy会将所有的数据保存到一个JSON文件中。 最后,我们可以在终端中运行以下命令来启动Scrapy爬虫: ``` scrapy crawl douban -o douban.json ``` 这个命令会启动名为douban的爬虫,并将所有数据保存到douban.json文件中。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值