带参数_爬虫（四）——带参数请求

最新推荐文章于 2024-09-12 14:32:42 发布

Forever snow

最新推荐文章于 2024-09-12 14:32:42 发布

阅读量746

点赞数

文章标签：带参数

本文链接：https://blog.csdn.net/weixin_34653945/article/details/112705948

版权

本文介绍了Python爬虫中如何进行带参数的请求，以QQ音乐为例，展示了查看和传递参数的方法，包括在URL中查找参数、使用requests.get()的params参数传递字典形式的参数。同时，讲解了Request Headers的伪装，以模拟正常浏览器请求，避免被服务器识别为爬虫。最后，通过实操展示了如何抓取QQ音乐的更多歌曲评论。

摘要由CSDN通过智能技术生成

一、什么是带参数请求

豆瓣搜索“海边的卡夫卡”网址：https://www.douban.com/search?q=%E6%B5%B7%E8%BE%B9%E7%9A%84%E5%8D%A1%E5%A4%AB%E5%8D%A1，

知乎搜索“宇宙大爆炸”网址：https://www.zhihu.com/search?type=content&q=%E5%AE%87%E5%AE%99%E5%A4%A7%E7%88%86%E7%82%B8。

可以看到每个url都由两部分组成：前半部分形如：https://xx.xx.xxx/xxx/xxx，后半部分形如：xx=xx&xx=xxx&xxxxx=xx&……两部分使用?来连接。其中前半部分是基网址，告诉服务器想访问的地址，后半部分就是请求所附带的参数，它会告诉服务器，需要什么样的数据。参数的结构和字典很像，有键有值，键值用=连接；每组键值之间，使用&来连接。

二、查看数据的参数

打开周杰伦QQ音乐搜索链接：https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E6%9D%B0%E4%BC%A6，发现qq音乐不支持更多歌曲的翻阅功能，没有对应的网页源代码。