当python爬虫遇到10060错误

在进行Python爬虫工作时,遇到10060错误通常是由于网络访问策略限制。通过设置ProxyHandler代理可以解决大部分问题,但当尝试下载图片时,即使设置代理仍可能报错。通过直接调用urllib2.urlopen获取图片URL的响应,读取二进制数据并保存,最终成功下载图片。本文分享了解决此类问题的方法。
摘要由CSDN通过智能技术生成

相信做过网站爬虫工作的同学都知道,python的urllib2用起来很方便,使用以下几行代码就可以轻松拿到某个网站的源码:

#coding=utf-8
import urllib
import urllib2
import re

url = "http://wetest.qq.com"
request = urllib2.Request(url)
page = urllib2.urlopen(url)
html = page.read()
print html

最后通过一定的正则匹配,解析返回的响应内容即可拿到你想要的东东。

但这样的方式在办公网和开发网下,处理部分外网站点时则会行不通。

比如:http://tieba.baidu.com/p/2460150866,执行时一直报10060的错误码,提示连接失败。

#coding=utf-8
import urllib
import
  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值