hubing_hust的专栏

本文对Loguru库相关主要特性进行了简要概述，如果需要了解其更详细的特性说明，可参考官方github。推荐大家在日常生活中多多使用Loguru库进行日志处理工作。

Python爬虫程序中使用生产者与消费者模式时进程过早退出的问题总结

本文介绍了在python网络爬虫程序中如何使用生产者与消费者模式进行数据爬取： 1. 生产者与消费者模式2. 队列Queue与进程间通信3. 在Python网络爬虫程序中使用队列进行进程间通信

本文介绍了python中的线程池用法，并示范了如何将线程池技术应用到python网络爬虫程序中。

PyQt中的多线程QThread示例。传统的图形用户界面应用程序都只有一个执行线程，并且一次只执行一个操作。如果用户从用户界面中调用一个比较耗时的操作，那么当执行这个程序时，虽然实际上该操作正在进行，但用户界面通常会冻结而不再响应。为了解决这个问题，通常会让用户的UI界面运行在它自己的线程中，而另外的事件处理过程则发生在一个或多个其他线程中。这样做之后，即使在处理那些数据密集的事件时，应用程序也能对GUI用户界面保持响应。

threading模块提供Thread类和各种同步原语，用于编写多线程的程序。Thread类用于表示单独的控制线程。使用下面的函数可以创建一个新的线程。此函数创建一个新的Thread实例。Thread的实例t支持以下方法和属性。下面这个例子说明如何以线程的形式创建和启动一个函数。如果将线程定义为类，并且定义自己的__init__()方法，必须像上面这样调用基类构造函数Thread.(), 如果忘记这一点，将导致严重错误。除了run()方法外，改写线程已经定义好的其他方法也会出现错误。

创建一个优先级队列，其中项目按照优先级从低到高依次排列。使用这种队列时，项目应该是(priority, data)形式的元组，其中priority是一个数字。使用队列一般可以简化多线程的程序。例如，可以使用共享队列将线程连接在一起，而不必依赖于必须有锁定保护的共享状态。maxsize是队列中可以放入的项目的最大值。如果省略maxsize或将它置为0，队列大小将是无限大。queue模块实现了各种多生产者-多消费者队列，可用于在执行的多个线程之间安全地交换信息。创建一个LIFO后进先出队列，也叫做栈。

如果需要其他类型的共享对象，比如用户自定义类的实例，则必须创建自定义管理对象。为此，需要创建一个继承自BaseManager类的类，BaseManager类定义在multiprocessing.managers子模块中。为用户定义对象创建管理器服务器的基类。address是一个可选元组(hostname, port), 用于指定服务器的网络地址。如果省略次参数，操作系统将简单分配一个对应于某些空闲端口号的地址。authkey是一个字符串，用于对连接到服务器的客户端进行身份验证。

通常，进程之间是彼此完全孤立的，唯一的通信方式是队列或者管道。但可以使用两个对象来表示共享数据。其实，这些对象使用共享内存（通过mmap模块）使访问多个进程成为可能。在共享内存中创建ctypes对象。typecode要么是包含array模块使用的相同类型代码的字符串，要么是来吃ctypes模块的类型对象（如ctypes.c_int, ctypes.c_double等）。所有额外的位置参数arg1 … argN将传递给指定类型的构造函数。

multiprocessing模块支持进程间通信的两种主要形式：管道和队列。这两种方法都是实用消息传递来实现的，但队列接口有意模仿线程程序中参见的队列用法。创建共享的进程队列。maxsize是队列中允许的最大项数，如果忽略此参数，则无大小限制。底层队列使用管道和锁定实现。Queue的实例具有以下方法创建可连接的共享进程队列。这就像是一个Queue对象，但队列允许项目的使用者通知生产者项目已经被成功处理。通知进程是使用共享的信号和条件变量来实现的。

multiprocessing模块所有的重点都放在进程上。Process的实例p具有以下方法Process的实例p也具有以下数据属性。

可以用Pool类来创建进程池，可以把各种数据处理任务都提交给进程池。进程池提供的功能有点类似于列表解析和功能性编程操作提供的功能。numprocess是要创建的进程数，如果省略此参数，将使用cpu_cout()的值。initalizer是每个工作进程启动时要执行的可调用对象。initargs是要传递给initializer的参数元组。initializer默认是none。Pool类的实例p支持以下操作。方法apply_async()和map_async()的返回值是AsyncResult实例。