python爬取b站番剧链接,Scrapy爬虫爬取B站视频标题及链接

研究了一下午，刚刚成功爬出了B站的视频数据以及超链接(虽然方法很笨)。但是还是非常有意思的，这里记录一下过程

程序用的scrapy，安装方法详见 https://www.jianshu.com/p/d2c8b1496949， 这里可以直接用的CMD创建scrapy项目，只需要输入 scrapy startproject 项目名 即可，会在当前目录下创建一个新文件夹，cd到该文件夹下后，输入scrapy genspider 爬虫名 目标网址来创建你的爬虫文件(如: scrapy genspider sample https://www.bilibili.com/v/douga)

创建爬虫项目

创建爬虫成功后就可以编辑了，打开的爬虫文件(此处为sample.py)可以看到

import scrapy

class SampleSpider(scrapy.Spider):

# def start_requests(self):

# yield Request("https://", headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"})

name = 'sample'