python爬虫爬取热搜的内容并存入excel中的问题以及解决办法
对于网络爬虫,我也是最近才开始学习的,昨天晚上我爬微博热搜的时候,发现爬取的不是HTML,而是js代码,没有获得我想要的数据,于是我就开始搜索怎么获取动态的页面,学了好久,不知怎么的就想到将Request Headers的所有的信息加入到header中,就运行成功了。注意:header里的Cookie值可能会失效,要自己动手查看自己的电脑中Cookie值,复制更换我的,其他的信息也可以更换你的电脑信息。由上面的结果可以看出直接是由User-Agent的话,无法爬取微博热搜的网页,出来了一堆的js代码。
原创
2021-10-20 18:00:56 ·
1967 阅读 ·
5 评论