![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
XY_Noire
咸鱼学生
展开
-
【转】爬虫的几种方法的效率比较
该文非原创文字,文字转载至jclian91 链接:https://www.cnblogs.com/jclian91/p/9799697.html问题的由来 前几天,在微信公众号(Python爬虫及算法)上有个人问了笔者一个问题,如何利用爬虫来实现如下的需求,需要爬取的网页如下(网址为:https://www.wikidata.org/w/index.php?title=Specia...转载 2019-04-21 18:48:01 · 2098 阅读 · 0 评论 -
python requests与aiohttp的小对比
最近试着爬小说...突然发现用requests效率不尽人意,查阅了一番,发现了还有aiohttp的存在,不过需要3.5.3以上的版本才能装...看了下写的demo,10+MB的小说爬取内容仅需大约30s。在本地试了下代码...发现那个网站已经没了...自己试了下效率的确比差很多,但是远不及那个demo中30s爬取百万字数...大致代码如下...也不是很熟悉,可能有点问题- -# -*...原创 2019-04-21 19:52:11 · 4094 阅读 · 1 评论