![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
异步爬取
吃不胖的朱
这个作者很懒,什么都没留下…
展开
-
爬取百度
百度V百科爬取所有问题&回答哎,直接上代码import requestsimport refrom lxml import etreeimport timeheaders={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.52'}def get_ur原创 2020-08-08 20:38:41 · 262 阅读 · 2 评论 -
百度百科词条爬取
前言:为了符合我这个强迫症患者,有了问答界面,没有数据怎么办捏,所已,又写了一个爬虫,爬取百度百科页面注意:没什么注意的只是百度百科用了异步加载,比较麻烦异步加载是什么捏,emmmmmmmmmmm就是在我们普通的页面中是可以再源代码中找到网页上显示的超链接,异步加载只不过是没有吧链接放到源代码中,所以普通的方法肯定就不行了,那麽他的链接到底在哪儿捏?????可以看到源代码里是没有任何与页面相关的url,而所有的url和词条信息在另一个网址中打开检查,进入网络中可以看到有很多请求异步加载的原创 2020-08-06 15:46:22 · 3631 阅读 · 11 评论