最近想使用tornado做一个爬虫的代理服务器,代理ip从免费代理网站爬取过来,既然是免费的性能肯定不怎么好,所以在把这些代理ip存入数据库之前,需要对代理ip的性能进行测试
查看tornado AsyncHttpClient的源码,发现里面有proxy_host,proxy_port, connect_timeout,request_timeout这正是检测代理所需的参数
使用这些参数之后,代码也不报错,代理始终显示超时,起初我以为是代理ip的性能普遍比较差,然而一个小时之后还是这样,最终在官网发现了这个
![在这里插入图片描述](https://img-blog.csdnimg.cn/20190214173327286.png
AsyncHttpClient需要在 curl_httpclient模式下才能使用代理。上网搜了一下发现有直接使用
from tornado.curl_httpclient import CurlAsyncHTTPClient
这个方法使用的是通过回调函数来实现异步的,而tornado整体是通过协程来实现异步的,这样写不好,在