B站有个Api,专门用来反馈视频的播放数,硬币数等信息
最后在工程文件夹生成一个txt文件
在scrapy中,修改pipline,item,spider简单实现,这里直接贴出代码。
from lxml import etree
import json
import time
from tutoral.items import DmozItem
def next_url(c,rnum):
c = c + 1
if(c <= rnum):
return c
else:
return None
class DmozSpider(scrapy.spiders.Spider):
name = 'dmoz'
allow_domains = ['bilibili.com']
start_urls = [
"https://api.bilibili.com/x/web-interface/archive/stat?aid=1"
]
def __init__(self):
self.c = 2