python 多线程时,urllib2的古怪问题

最新推荐文章于 2022-05-02 01:50:18 发布
最新推荐文章于 2022-05-02 01:50:18 发布
阅读量2.9k 收藏
点赞数
分类专栏： python 文章标签： 多线程 python file exception thread 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gu1dai/article/details/4202625
版权

 如果服务器限制了并发为1，并且满足如下条件

setDaemon(True)
如果一个线程类里有这一句
并且该类里有urllib2的请求
那么第2次实例化后，urllib2的urlopen方法就不能使用了。
否则会报错,错误如下

Exception in thread Thread-2 (most likely raised during interpreter shutdown):
Traceback (most recent call last):
  File "C:/Python25/lib/threading.py", line 486, in __bootstrap_inner
  File "D:/pysrc/pytest/test_urllib2.py", line 78, in run
  File "C:/Python25/lib/ByteRangeDownload.py", line 116, in get
  File "C:/Python25/lib/ByteRangeDownload.py", line 46, in getFileSize

gu1dai
关注
专栏目录
Python 通过urllib进行多线程下载
qq_24296409的博客
08-08 837
Python多线程下载 http: range, content-length python实现 HTTP Range, Content-Length: Content-Length: 1394829 HTTP头Content-Length用于描述HTTP消息实体的传输长度 Range: bytes=0-1 HTTP头信息Range用于请求服务器返回文件的某个字段，不过在大部分情况请求页面文件不会返回该页面文件的字段，而是返回全部。 （0-1表示的是前两个字节） 实现 import os, sys
urllib多线程介绍代码实现
wangxihe2012的博客
05-31 457
import threading # 导入多线程包 class A(threading.Thread): # 创建一个多线程A def __init__(self): # 必须包含的两个方法之一:初始化线程 threading.Thread.__init__(self) def run(self): # 必须包含的两个方法之一：线程运行方法 ...
python使用urllib模块开发的多线程豆瓣小站mp3下载器
weixin_34279246的博客
03-16 93
#! /usr/bin/python2.7# -- coding:utf-8 --import os, urllib,urllib2, thread,threadingimport re#匹配音乐urlreg=re.compile('{"name":"(.+?)".+?"rawUrl":"(.+?)",.+?}', re.I) class downloa...
PythonCrawler urllib 多线程获取proxy池爬取数据
AdamShyly的博客
05-02 348
此次实验使用多线程获取proxy池来增加爬虫爬取下载数据的速度，顺便测试一下urllib handler代理 注意由于线程爬取数据过快可能会导致ip被封，要适当增加time.sleep否则会出现503错误，也可以改变获取proxy_ip的策略，我这里是采取random随机获取proxy列表下标，也可以试试轮询策略，但注意要加锁 from urllib import request as ure import random import threading import time import ssl
python多线程写入数据库urllib_Python基于多线程实现抓取数据存入数据库的方法
weixin_39989159的博客
02-20 232
本文实例讲述了Python基于多线程实现抓取数据存入数据库的方法。分享给大家供大家参考，具体如下：1. 数据库类"""使用须知：代码中数据表名 aces ，需要更改该数据表名称的注意更改"""import pymysqlclass Database():# 设置本地数据库用户名和密码host = "localhost"user = "root"password = ""database = "te...
python3 中使用urllib问题以及urllib详解
09-16
首先，当我们遇到`AttributeError: module 'urllib' has no attribute 'request'`这样的错误时，这是因为从Python3开始，`urllib`模块不再自动导入其子模块。因此，我们需要显式地导入我们需要的子模块，如`urllib....
Python3如何对urllib和urllib2进行重构
09-18
在Python 3中，对`urllib`和`urllib2`库进行了重大重构，以提供更清晰的模块化设计和更好的功能分离。这使得开发者能够更方便地处理网络请求和响应，同时也提高了代码的可读性和可维护性。下面我们将详细探讨这些...
Python网络编程中urllib2模块的用法总结
09-21
`urllib2`提供了一些预定义的异常类，如`URLError`和`HTTPError`，用于捕获和处理网络请求时可能出现的问题。例如： ```python try: response = urllib2.urlopen(url) except urllib2.URLError as e: print('...
Python urllib urllib2 urllib模块安装说明
02-25
对于Python 2.x版本，`urllib2`提供了比`urllib`更高级的接口，支持更多的功能，如认证、重定向管理等。但在Python 3.x中，这些功能被整合进了`urllib`模块的不同子模块中。 ### Requests库安装详解 #### 1. ...
python多线程爬虫学习--urllib的使用
一步一脚印
08-21 456
urllib是访问网址的利器。 通过几个函数就可以轻松获取请求网页的状态，网页的内容等信息 具体函数如下： urlopen(url) read() close() 实例： import urllib page=urlopen("http://blog.csdn.net/myiloveuuu/article/details/77411771") html=page.read() pa
Python爬虫-快速入门 urllib+beautifulsoup4+多线程（附wiki data实体搜索等各种demo）
River_sum的博客
09-10 3518
写在前面： 最近工作又要用到爬虫，利用商品的名称在wiki data上搜索实体id，再根据实体id爬取对应的实体详细信息。 虽然wiki官网上建议我们串行爬取数据，但速度实在是太慢了（预估要爬12天，显然不河里），因此记录了下常用的各种包的用法，并编写了一个多线程的脚本（一小时左右就爬完了），分享出来供大家参考~ 注：wiki data需要科学上网，不能的话用下面baidu的demo练手即可~ 1.urllib与beautifulsoup 这俩好兄弟是黄金组合，举个例子，拿到一条你需要爬..
python2多线程爬虫
a289237642的博客
09-04 399
#! /usr/bin/env python # -*- coding: utf-8 -*- """ @author: ligang @contact: a289237642@163.com @software: PyCharm IDEA @file: company_position_count.py @create at: 2018-09-04 10:40 """ import json, ...
python 线程与urllib操作
ZENGshuihai的博客
04-08 519
1.多线程同步: import threading ,time exitFlag = 0 class My_thread(threading.Thread): def __init__(self,threadID,name,delay): threading.Thread.__init__(self) self.threadID = threadID self.name = name self.delay = delay d
python使用threading.Thread和Queue通过urllib2.urlopen抓取数据
贱贱的刁民的技术博客
09-03 2119
有个抓取数据的需求 大概2000多个url  需要用到线程和队列线程和队列代码如下 线程主体函数 class ThreadWeather(threading.Thread): def __init__(self, queue): threading.Thread.__init__(self) self.queue = queue
Python 中因urllib2/urlib遭遇的进程阻塞问题
weixin_33997389的博客
10-19 269
2019独角兽企业重金招聘Python工程师标准>>> ...
python---多线程采集示例
黄星的专栏
11-19 1794
# coding:utf-8 import urllib2import time from lxml import etree from bs4 import BeautifulSoup import requests import types import sys import json from Queue import Queue import threadingCRAWL_EXIT = Fa
【项目实战】利用urllib实现多线程爬取糗事百科段子
mxt的博客
01-24 500
import threading import urllib.request import re import ssl #把ssl设置为未验证， ssl._create_default_https_context = ssl._create_unverified_context #给opener添加header,伪装成浏览器 header = ("User-Agent","Mozilla/5.
python 单线程与多线程爬虫
zyxyzz的博客
10-22 2464
帮别人写爬虫，先是单线程，太慢，改了多线程 1.单线程 import urllib import urllib.request import requests import xlwt import re import string def set_style(name,height,bold=False): style = xlwt.XFStyle() # 初始化样式 font
python 多线程读写文件错误_python多线程老是报错。大神帮忙看看哈？
weixin_39517054的博客
12-17 1049
以下是代码：importthreadingimporttimeproducts=[]condition=threading.Condition()classConsumer(threading.Thread):defconsume(self):globalconditionglobalproductsconditon.acqu...以下是代码：import threadingimport time...
Python爬虫实战：urllib+urllib2+cookielib模块解析
"Python中使用urllib、urllib2和cookielib模块进行爬虫实战，包括抓取豆瓣同城和图书馆图书归还信息的例子。" 在Python编程中，urllib、urllib2和cookielib是三个常用于构建网络爬虫的模块。它们帮助开发者处理HTTP...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值