- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Python异步编程与aiohttp检测代理池
之前为了检测代理的可用性学习了一下aiohttp，网上有关aiohttp的使用很少，所以写篇博客记录下来。 首先，为什么要使用异步编程，先看两张图。 很显然，我们不希望cpu在这些极慢的IO操作上阻塞，我们希望在IO操作期间,CPU能继续执行其他的任务,Python中的异步asyncio能很好实现这一点。 什么是协程?可以参考下面这篇文章 最新Python异步编程详解 aiohttp
2017-09-04 21:48:18
4837
原创 使用Scrapy爬取百万知乎用户信息
参考了http://cuiqingcai.com/4380.html 这里做一些补充 控制了下速度，前后爬了大概两天，获取了知乎百万用户数据信息 知乎的api做的非常友好，通过接口直接返回纯净的Json数据。 相比参考的那篇文章，这里把item()改了一下。 主要是最后几个字段在返回的数据中只有name字段比较有效，所以甩了一堆if提取 像这样class UserItem(Item
2017-08-23 21:39:03
778
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人