抓包到的HTML都是数字字母,B站个人空间数据爬取requests+Beautifulsoup得到的html和元网页不一致...

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有帐号？立即注册

x

就以爬取B站老番茄视频数据为例子，代码如下：

import requests

from bs4 import BeautifulSoup

import lxml

def open_url(url):

headers ={

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}

res = requests.get(url,headers = headers)

return res

def main():

url = "https://space.bilibili.com/546195/video"

soup = BeautifulSoup(open_url(url).text,'lxml')

print(soup.prettify())

if __name__ == "__main__":

main()复制代码上面代码只是用来检测爬取到的源码是否一致，因为发不了图片，我也不知道怎么描述，就是爬取到的内容和原网页审查元素不一致，该有的视频的相关资料都没有...

补上输出结果吧：

搜索 | 腾讯招聘

PS F