如何解决Python 爬取网易云评论为[ ]的问题

最新推荐文章于 2024-03-14 13:11:30 发布

肥鼠路易

最新推荐文章于 2024-03-14 13:11:30 发布

阅读量515

点赞数

分类专栏： # Python 文章标签： python 网络爬虫 json

本文链接：https://blog.csdn.net/weixin_44991673/article/details/111175428

版权

在爬取网易云评论时遇到内容显示为[ ]的难题，问题出在只抓取到第一个请求，实际评论数据位于XHR请求中。XHR（XMLHttpRequest）常用于动态更新网页内容，如购物网站的滚动加载。为获取评论，需找到包含目标信息的XHR请求。

摘要由CSDN通过智能技术生成

我们在使用基础知识爬取网易云评论发现爬取不到内容，但是标签似乎也没有问题，html定位内容也没有出错，具体显示如下：
在这里插入图片描述

 #起始地址
start_url = 'https://music.163.com/#/song?id=1366450142'
        #请求头，浏览器模拟
        #设置这一步的目的是为了伪装我们的爬虫，防止被识别出来
        #由requests自动生成的headers，可被服务器轻易识别为爬虫
headers = {
   
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
        }
'''
params="K2HjGyPzWSCz2O772ysQLqvidrQlnnjxpnBh/ZjO8j8FLlHKNxNn+VQyMuztFaxMbUcj4pm98zkF6IpQ7RjIcFGMAbrv+C8DP6MaS5JoEx0MtMcizFfcoysQ0vG9RRTqXP0tRvie+7vgFfcSv1zg1u3zjUPswqWXH7dq9AoRL23cAhG4H9jFcUfUzovMlwXP"
encSecKey="ccbe33dd2f440faf537173be8d6b237257d0493faee3708cfbb91ca80ce45c3fa0dfea2af7650d251bd8c140638cae8719906bac1ff379b8c4cc79a1c95e267ab6fc28bc63c78d3e9eff396d4b43a97284b6770ecf429bc209a795405