爬虫日记08：利用scrapy框架获取A站搞笑视频部分信息

一、框架的安装

我们直接pip install scrapy 是安装不了的，因为缺少一些内置库。所以我们得去scrapy官网（(Installation guide — Scrapy 2.5.0 documentation）翻到 Things that are good to konw这里把scrapy框架所需的库全部下载。利用离线安装全部安装进pycharm。然后再进行scrapy安装的命令就成功了。

二、写代码

在pycharm的终端输入：scrapy startproject xxx(项目名) #创建scrapy项目

打开项目号后再在终端输入：scrapy genspider xxx(文件名) xxx（域名）#创建scrapy爬虫文件

然后我们在spider的文件里找到爬虫py文件，在里面进行我们的代码书写。

import scrapy

from acfun.items import AcfunItem

class HappySpider(scrapy.Spider):
    name = 'happy'
    allowed_domains = ['acfun.cn']
    start_urls = [f'https://www.acfun.cn/v/list206/index.htm?page={num}' for num in range(1,11)]

    def parse(self, response):
        video_urls = resp