urllib <urlopen error [Errno xxx] Connection refused>

最新推荐文章于 2024-09-04 07:30:00 发布
最新推荐文章于 2024-09-04 07:30:00 发布
阅读量6k 收藏 1
点赞数
分类专栏： python 文章标签： urllib 爬虫-python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014487025/article/details/78951470
版权

在使用urllib获取web code status时报出这个错误。在stackOverflow上找到两种解决方案，在此记下，以供自己或他人查询。

出现此错误的原因是：网站限制每秒钟访问的次数

方案一 头方法
在脚本中添加特定的访问头

import urllib2

HEADERS = {'user-agent': ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)'
                          'AppleWebKit/537.36 (KHTML, like Gecko)'
                          'Chrome/45.0.2454.101 Safari/537.36'),
                          'referer': 'http://stats.nba.com/scores/'}

res = urllib2.Request(url, headers = HEADERS)
print urllib2.urlopen(res).read()

当然，如果使用的requests库也是一样

res = requests.get(url, headers = HEADERS)

方法二 添加延时操作
在两次访问的中间，添加延时等待

import time

time.sleep(t) #t表示延迟的秒数

参考的stackOverflow地址

海上的程序猿
关注
专栏目录
【Python3 网络编程】ConnectionRefusedError: [Errno 111] Connection refused
01-06
在网络通信中，经常出现Connection Refused报错提示，不仅仅是socket编程，也有xshell连接时出现这种问题。在查阅资料后，把常见问题记入本文。 服务器拒绝，有几个可能性： 服务器没启动或未监听端口（用TCP工具连...
urllib2.URLError: ＜urlopen error [Errno 111
hello world
02-17 7114
问题 python报错信息如下：urllib2.URLError: <urlopen error [Errno 111] Connection refused> 原因 代理问题，猜测可能是之前设置ss代理导致的。 解决 在当前终端环境，查找代理，并临时unset即可 命令： export | grep "proxy" 和 export | grep "PROXY" 显示结果： declare -x ftp_proxy=":8080" declare -x http_
解决seaborn加载资源数据拒绝连接问题 URLError: ＜urlopen error [Errno 61] Connection refused＞
weixin_42065582的博客
03-23 3396
解决seaborn加载资源数据拒绝连接问题 URLError: <urlopen error [Errno 61] Connection refused> 今天整理了一下在学习seaborn画图过程遇到的问题。 seaborn中的load_dataset()方法可以直接加载一些线上提供的数据集，但是运行时报如下错误： 查找一些资料，主要原因是seabor_data 文件夹是空的，没有数据 解决方案来啦~ 需要从GitHub上将数据集下载至seaborn文件夹中 地址：GitHub链接 下载
ConnectionRefusedError: [Errno 111] Connection Refused：连接被拒绝的完美解决方法
最新发布
沉淀、分享、成长，让自己和他人都能有所收获！
09-04 1303
这篇文章将详细解析该错误的成因，并提供多种有效的解决方案，帮助你迅速排查和解决问题。通过本文的学习，你将能够掌握应对网络连接问题的技巧，提高应用的健壮性和可用性。未来的文章中，我将继续探讨网络编程中的常见错误及其优化策略，帮助大家打造高性能、高可用的网络应用。在开发网络应用时，无论是客户端与服务器的交互，还是服务之间的通信，都可能遇到连接失败的情况。查看服务器的配置文件，确认端口是否正确设置，并确保端口未被其他进程占用。以上代码试图连接本地服务器的8080端口，如果服务器未启动或端口未开放，将抛出。
日常问题解决汇总
進撃の算法
05-12 1630
日常操作时遇到各种Error报错，所遇问题以及搜索到的解决方案参考来源大汇总（持续更新） 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. pip install 下载库时中途报错，切换网络重试成功。。 诡异的错误：OpenSSL.SSL.Error: [(‘SSL routines’, ‘ssl3_get_record’, ‘decryption failed or bad reco...
urllib.error.URLError 提示错误解决方法和爬虫基本知识
keny-大成的博客
08-22 4443
urllib.error.URLError 提示错误解决方法和爬虫基本知识
urllib.error.URLError urllib.error的处理办法
Age
09-09 1万+
       在使用python发起urlopen的时候会经常出现: urllib.error.URLError: &lt;urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:777)&gt; 类型的错误   可能原因分析: Python 2.7.9 之后引入了一个新特性 当你u...
解决python3 urllib中urlopen报错的问题
09-21
File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'urlopen' ``` 这个错误表明Python解释器无法在`urllib`模块中找到`urlopen`函数，这是因为Python3中的`urllib`库结构...
Python urllib模块urlopen()与urlretrieve()详解
12-23
1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径，一般是网址；参数data表示以post...
[快速完美]解决urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED]
weixin_42082273的博客
04-26 6610
但是有时候会存在代码结构太过复杂，很难一下子找到对应的代码段进行添加，这时候就可以直接尝试方法二。cafile=None，显示证书不存在，但是进入。下载好新cacert.pem文件后，放入上面的。文件，推测可能是什么原因导致不识别。①查看ssl证书默认位置。再运行代码就ok啦！
做爬虫遇到urllib.error.Connection refused
weixin_38713404的博客
05-04 807
怎么解决？ 我搜索了各种方法，网上没有给出明确的答案，在这里探索一下： https://www.ixsystems.com/community/threads/urlopen-error-errno-61-connection-refused-after-upgrade-to-11-2-and-trying-to-find-a-plugin.71851/ 这位玩家从终端ping了谷歌网站，有评...
windows下 appium遇到的问题（android）
Elvis_lfc的博客
06-29 1712
http://www.cnblogs.com/fnng/p/4540731.html Appium移动自动化测试（一）--安装Appium 安装Android 模拟器： 把镜像换成mirrors.neusoft.edu.cn，然后点击packages中的reload，可以发现全部都可以下载了 简介： Appium使用WebDriver的json wire协议，驱动
python报错urllib2.URLError:<urlopen error[Errno 111] Connection refused>和error[Errno 104]
Blateyang的博客
02-03 1万+
解决python读取url图片时的两个报错：<urlopen error [Errno 111] Connection refused>和<urlopen error [Errno 104] Connection reset by peer>
处理python3爬虫问题：urlopen error [Errno 111] Connection refused 或 urlopen error timed out
Zack的博客
07-28 1万+
问题 爬虫时使用代理，经常会出现 <urlopen error [Errno 111] Connection refused> 或者 这类的错误，造成这类问题的原因是代理ip不可用或者质量差，解决方法如下： 方法 1、建立代理ip池 2、使用try… except… 处理异常，删除无效ip，示例代码： def crawl_web_data(url, proxy_ip_list):...
/gerrit/: <urlopen error [Errno 111] Connection refused>)
weixin_33817333的博客
12-04 882
这种错误的解决方案 /gerrit/: <urlopen error [Errno 111] Connection refused>) 1.首先这种错误的发生是由于设置了代理.然后公司的服务器拒绝访问. export | grep "proxy" export | grep "PROXY" 这两个项目所列的东西 unset 掉就可以了. 有的时候所有不到特此记录一下. 转载于:htt...
urllib2.URLError: urlopen error [Errno 111] Connection refused
出埃及记
11-29 2万+
记录个还没解决的问题。下面爬虫代码是可以执行的，但是在我的Ubuntu的虚拟中刚开始是可以运行的，但是，后来不知道改了什么东西，用urllib2写的爬虫和用scrapy 的爬虫代码都不能运行了！！。 import urllib2 import re class Spider: def __init__(self): self.page = 1 self...
解决爬虫错误：urllib.error.URLError: <urlopen error [WinError 10060]
热门推荐
逸尘的专栏
04-18 4万+
当用多线程爬取网站出现urlopen error [errno 10060]的错误，也就是连接失败。原因是多个线程爬去某个网站的数据，每次连接完需要sleep(1)一会，不然该网站服务端的防火墙会ban掉你的connect。睡眠等待机制会减少urlopen error [errno 10060]出现的概率，但访问次数多了还是会出现 开始的解决思路是每次连接的时候换用不同的useragent,结果仍
linux系统urllib.error.URLError:<urlopen error [errno 111] Connection refused>
10-09
这个错误通常是由于无法建立与特定URL的连接而导致的。可能是网络连接出现问题或者目标服务器拒绝了连接请求。 解决该问题的方法可能有以下几种： 1. 确保目标URL的正确性以及网络连接的正常性。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值