前言
新手小白,找个简单的网站练练手,目标锁定在https://h.bilibili.com/p这个网站,主要是因为有漂亮的小姐姐。
正文
刚开始直接对https://h.bilibili.com/p这个网址返回的源代码进行解析,结果爬取到的结果与开发者选项中看到的不一样,然后在network选项卡中发现有api链接,返回的信息是一个很大的字典,然后爬取的重点就变成了分析这个嵌套了好几层的字典。。。
1.代码
代码如下:
import requests
from urllib.parse import urlencode
import os
import time
param = 'cos'
def get_page(url, page):
"""一个函数,两个功能,取决于page"""
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36'
' (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
r = requests.get(url=url, headers=headers)
if r.status_code == 200:
#将返回的信息转换为字典
r = r.json()
#分析无限套娃的列表字典,提取出一页的doc_id
if page == 'home':
print("开始采集doc_id...")
doc_ids = [