python学习(爬取网页network上的内容)

本文只是本人在学习途中记录与复习梳理用,大佬们酌情观看哈~
当用requests的get得到一个对象后,发现用find显示的是None,但打开网页检查的时候却存在,为什么?
除了平时直接显示的元素(elements)之外,还有许多内容在检查栏内:在这里插入图片描述
学习之后我知道了,其中的network里的内容在请求之后才会与元素结合显示,Network中能够看到浏览器的请求。
怎么获取network中的内容?我用python解决的(刚学XD)
先上代码:

import requests
from bs4 import BeautifulSoup
# 引用requests库
res_music = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0')
# 调用get方法,下载这个字典
json_music = res_music.json()
# 使用json()方法,将response对象,转为列表/字典
list_music=json_music['data']['song']['list']
for music in list_music:
    print(music['name'])

这是爬取了QQ音乐中周董的歌名的代码,运用了json的技术,有问题请联系我~

  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值