python scrapy爬取imdbtop250

写在前面：

国庆以来自己一直将主要的空闲精力放到了机器学习方面，跟着EliteDataScience的指导走，大部分时间都用于学习吴恩达的机器学习课程

随着课程进入相对枯燥的阶段，手痒的我决定回到爬虫上做些小小的项目。之前我做的爬虫只要都用于控制台简单交互式的资源爬取上面，比如电影，美剧，字幕等，需要深度定制，很少使用框架

由于实战中一直缺少scrapy的练习，因此这次我打算先从温习scrapy开始

实战

前一天晚上温故了scrapy官方文档，昨晚便开始了实践，由于实在有限的时间，先踏一小步，就拿scrapy爬取imdbtop250开刀，由于内容比较简单，就没有改动items，pipeline等，直接在spider中完成实现

import scrapy

class Imdbtop(scrapy.Spider):
    name = 'top250'
    start_url = 'https://www.imdb.com/chart/top?ref_=nv_wl_img_3/'
    headers = {
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
    }
	#adding request headers
    def start_requests(self):
        yield scrapy.Request(url=self.start_url, callback=self