scrapy爬取豆瓣top250详情信息

​

1、项目简介

本次项目利用scrapy爬虫框架实现抓取豆瓣top250的详情页信息，主要字段如下：

主要字段：

Num——》电影排名
DetailLink——》详情页链接
Title——》电影标题
RatingNum——》评分
Votes——》评价人数
Director——》导演
Writer——》编剧
Actor——》主演
Type——》类型
ReleaseDate——》上映时间
RunTime——》片长

2、创建项目文件

创建一个scrapy工程

crapy startproject douban

创建爬虫源文件

scrapy genspider douban250 www.douban.com

3、爬虫文件配置

3.1配置setting文件

1）反爬配置

# 关闭 robots
ROBOTSTXT_OBEY = False

# 配置请求头
```python
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'

# 为方便调试 修改日志等级为‘ERROR’
LOG_LEVEL = 'ERROR'

2)开启管道

ITEM_PIPELINES = {
   
   'douban.pipelines.DoubanPipeline': 300,
}

3.2配置items文件

定义要爬取的字段

class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    Num = scrapy.Field()
    DetailLink = scrapy.Field()
    Title = scrapy.Field()
    RatingNum = scrapy.Field()
    Votes = scrapy.Field()
    Director = scrapy.Field()
    Writer = scrapy.Field()
    Actor