python多线程异常处理

最近在根据项目需求。统计10万个query,召回的xml中提取某标签信息。共启动10个线程,不过在统计过程线程出现UrlError的异常,但是在线程中未捕获异常,导致线程提前终止。导致统计信息异常。</span><pre>

        出现问题后,通过查询得知,线程中有自己独有的栈,当线程抛出异常后,假如未捕获的话,线程会直接结束,但是不影响其它线程的运行,通过捕获异常,对异常进行处理,此线程不会终止,执行完异常处理代码后,可继续执行execp后的代码。

         如果服务器网络状况不好,爬取网页数据时需要设置socket超时,设置超时后,当read()超时时,程序会抛出socket.timeout的异常。设置超时有以下两种方法:

       1、为urlopen设置可选参数 timeout

f = urllib2.urlopen(r, data=None, timeout=3)

   2设置全局的socket超时:

import socket
socket.setdefaulttimeout(10.0)


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中,多线程是一种并发编程技术,允许一个程序同时执行多个任务,每个任务在单独的线程中运行。使用Python的内置`threading`模块可以轻松地创建和管理线程。以下是使用Python多线程的基本步骤: 1. 导入`threading`模块:这是开始多线程编程的第一步。 ```python import threading ``` 2. 定义线程函数(target):你需要为每个线程定义一个函数,这个函数将在新线程执行。 ```python def worker_function(arg): # 线程执行的代码 pass ``` 3. 创建线程对象:使用`Thread`类实例化一个线程,将定义的函数作为参数传递。 ```python thread = threading.Thread(target=worker_function, args=(arg,)) ``` 4. 启动线程:调用`start()`方法启动线程,此时线程会在后台运行。 ```python thread.start() ``` 5. 等待线程完成:如果你需要等待线程结束,可以使用`join()`方法。 ```python thread.join() # 如果你想让主线程等待这个线程结束 ``` 6. 错误处理:线程可能遇到异常,使用`threading`模块提供的异常处理器来捕获并处理。 ```python try: thread.start() except Exception as e: print(f"Error in thread: {e}") ``` 需要注意的是,Python中的全局解释器锁(GIL)限制了同一时间只能有一个线程执行Python字节码。这意味着多线程并不能真正实现并行计算,但在IO密集型任务中仍然很有用,比如网络请求、文件读写等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值