这篇博客总结了Python爬虫初学者可能遇到的问题，包括：1) 使用代理时遇到的IOError和如何解决；2) 自定义opener与urllib2.urlopen在处理代理时的区别；3) 如何处理HTTP和HTTPS协议导致的链接超时问题；4) 模拟登录时构建data字典的注意事项，并提示使用Fiddler抓取页面登录信息的重要性；5) 提问如何设置代理。
任意门：Python爬虫系统讲解
Q1
关于代理的事情
1. 从简单的说起——入门就有问题
出现在“分分钟扒一个网页下来”的问题：
运行如教程的代码，结果报错：（在公司使用这段代码）IOError: [Errno socket error] [Errno 10060]
Step 1：当我尝试将url地址换成公司某一内网的时候，我发现这段代码works fine
Step 2：根据评论：
“
You can do it even without the HTTP_PROXY environment variable. Try this sample:
import urllib2
proxy_support = urllib2.
最低0.47元/天 解锁文章
2275
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
