实验室老师给了我们一个爬虫题目,需要我将新闻获取实时最新消息,并发送到微信上。
在我完成老师题目的途中,
我发现我的爬虫爬取的内容是很多个空列表,并且因此卡在这里无法运作。
经过查询资料我得知,像是新闻,资讯这种动态更新的网址,
用普通的检查获取源代码的方法,是无法获取到你想要获取的内容的。
解决方法:
1.按F12调出开发者工具。
2.点击“network”或者“网络”(可能在元素和控制栏的右边,需要滑动滑动条才可发现)
3.点击下方“fetch/XHR ”
4.按f5键刷新界面,点击下面的json文件
然后我们就可以找到我们所需内容的位置啦
然后需要对json文件进行抓包解析,与这些有关的内容其他很多博主也讲过,我也不赘述啦
YY酱今天也学到了很多知识呢!希望也可以帮助到大家!!!