本文为南大张莉老师《用Python玩转数据》学习笔记。
利用ajax技术渲染的网页在源代码中看不到网页中呈现的内容,ajax不需要加载整个网页就可以更新部分的网页内容,如新浪鼓动新闻就可通过其右上角这个“刷新”按钮来动态生成网页。
查看网页源代码,发现其中没有网页中所呈现的内容,所以需要用到浏览器的开发者工具进行查看(笔者是直接用Google浏览器右键的检查查看)
找到最关键的地址,找到产生数据的Request URL(或查看Query String Parameters参数,将它们放到一个字典当中),然后传给GET函数的params参数,就可以爬取这个网页了。
>>> import requests
>>> r=requests.get('https://feed.mix.sina.com.cn/api/roll/get?pageid=153&lid=2509&k=&num=50&page=1&r=0.9375562969892552&callback=jQuery1112049352290501362717_1586101425761&_=1586101425763')
>>> r.status_code
200
>>> r.text
输出的代码中有很多这样的内容:
这是unicode字符,它们其实就是新闻的标题和内容,对它们做一些转换,就可将其转成中文。
可将它们编码成utf-8的字节流对象,再用decode()方法把它解码成中文:
>>> r.text.encode('utf-8').decode('unicode=escape')
从以下输出中可知,实现类了转换。
注:一定要在遵从爬虫协议的条件下使用开发者工具。