【Python3学习笔记】之【Python高级——多线程】

多线程

优点

• 实现线程可以把占据长时间的程序中的任务放到后台去处理。
• 用户界面可以更加吸引人，比如用户点击了一个按钮去触发某些事件的处理，可以弹出一个进度条来显示处理进度。
• 程序运行速度更快。
• 在一些等待的任务实现如用户输入、文件读写和网络收发数据等，线程就比较有用。在这种情况下我们可以释放一些珍贵的资源如内存占用等。

注意

每个独立的线程有一个程序的入口、顺序执行序列和程序出口。但是线程不能独立执行，必须依存在应用程序中，由应用程序提供多个线程执行控制。

每个线程都有他自己的一组CPU寄存器，称为线程上下文，改上下文反映了线程上次运行该线程的CPU寄存器状态。

指令指针和堆栈指针寄存器是线程上下文的两个重要寄存器，线程总是在进程得到上下文中运行的，这些地址都用于标志 拥有线程 的 进程地址空间 的内存。

• 线程可以被抢占（中断）
• 在其它线程正在运行时，线程可以暂时搁置（睡眠）。这就是线程的退让。

分类

线程可以分为：

• 内核线程：由操作系统内核创建和撤销
• 用户线程：不需要内核支持，在用户程序中实现。

相关模块

线程中常用的模块为

• _thread
• threading
  thread 模块已被废弃。可以用threading 模块代替。所以在python中不在使用thread模块。但是为了兼容性，将thread 重命名为了“_thread”。

开始学习线程

python中有有两种方式使用线程：函数或者类来包装线程对象。

函数式（_thread模块演示）

用_thread 模块中的start_new_thread() 函数来产生新线程。语法如下：

_thread.start_new_thread ( function, args[, kwargs] )

参数说明

• function：线程函数
• args-传递给线程函数的参数（必须是tuple类型）
• kwargs：可选参数

import _thread
import time


# 为线程定义一个函数
def print_time(thread_name, sleep_time):
    count = 0
    while count < 5:
        time.sleep(sleep_time)
        count += 1
        print('{}:{}'.format(thread_name, time.ctime(time.time())))


# 创建两个线程
try:
    _thread.start_new_thread(print_time, ('thread-1', 2))
    _thread.start_new_thread(print_time, ('thread-2', 4))
except Exception as e:
    print(e)

while 1:
    pass

thread-1:Fri Oct  2 19:11:16 2020
thread-2:Fri Oct  2 19:11:18 2020
thread-1:Fri Oct  2 19:11:18 2020
thread-1:Fri Oct  2 19:11:20 2020
thread-2:Fri Oct  2 19:11:22 2020
thread-1:Fri Oct  2 19:11:22 2020
thread-1:Fri Oct  2 19:11:24 2020
thread-2:Fri Oct  2 19:11:26 2020
thread-2:Fri Oct  2 19:11:30 2020
thread-2:Fri Oct  2 19:11:34 2020

threading 模块

python 通过两个标准库 _thread 和 threading 提供对线程的支持。

_thread 提供了低级别的、原始的线程以及一个简单的索，它相比于threading 模块的功能还是比较有限的。

threading 模块除了包含 _thread 模块中的 多有方法外，还提供了：

• threading.currentThread()：返回当前线程变量。
• threading.enumerate()：返回一个包含正在运行的线程list。正在运行指线程启动后、结束前，不包括启动前和终止后的线程
• threading.activeCount()：返回正在运行的线程数量，与len（threading.enumerate()）有相同的结果

除了使用方法外，线程模块同样提供了Thread 类来处理线程，Thread 类提供了以下方法：

• run()：用以表示线程活动的方法。
• start()：启动线程活动。
• join([time])：等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止（正常退出、抛出未处理异常或者可选的超时发生）
• isAlive()：返回线程是否活动的。
• getName()：返回线程名。
• getName()：设置线程名。

线程传递参数方法

1.元组

threading.Thread(target=方法名，args=（参数1,参数2, ...）)

import time
import threading

def song(a,b,c):
    print(a, b, c)
    for i in range(5):
        print("song")
        time.sleep(1)
if __name__ == "__main__":
    threading.Thread(target=song,args=(1,2,3)).start()

2.字典

threading.Thread(target=方法名, kwargs={"参数名": 参数1, "参数名": 参数2, ...})

threading.Thread(target=song,kwargs={"a":1,"c":3,"b":2}).start() #参数顺序可以变

使用threading 模块创建线程

可以通过threading.Thread 继承创建一个新的子类，并实例化后调用start() 方法启动新线程，即它调用了run() 方法：

import threading
import time


class MyThread(threading.Thread):
    def __init__(self, thread_id, name, delay):
        threading.Thread.__init__(self)
        self.thread_id = thread_id
        self.name = name
        self.delay = delay

    def run(self):
        print('开始线程：' + self.name)
        print_time(self.name, self.delay, 5)
        print('退出线程：' + self.name)


def print_time(thread_name, delay, counter):
    while counter:
        time.sleep(delay)
        print('{}:{}'.format(thread_name, time.ctime(time.time())))
        counter -= 1


# 创建新线程
thread1 = MyThread(1, 'Thread-1', 1)
thread2 = MyThread(2, 'Thread-2', 2)

# 开始新线程
thread1.start()
thread2.start()
thread1.join()
thread2.join()
print('退出主线程')

开始线程：Thread-1
开始线程：Thread-2
Thread-1:Sat Oct  3 10:15:20 2020
Thread-1:Sat Oct  3 10:15:21 2020Thread-2:Sat Oct  3 10:15:21 2020

Thread-1:Sat Oct  3 10:15:22 2020
Thread-2:Sat Oct  3 10:15:23 2020Thread-1:Sat Oct  3 10:15:23 2020

Thread-1:Sat Oct  3 10:15:24 2020
退出线程：Thread-1
Thread-2:Sat Oct  3 10:15:25 2020
Thread-2:Sat Oct  3 10:15:27 2020
Thread-2:Sat Oct  3 10:15:29 2020
退出线程：Thread-2
退出主线程

线程同步

如果多个线程共同对某个数据进行修改，则可能出现未知结果。为了保证数据的准确性，需要对多个线程进行同步。

使用Thread 对象的Lock 和 Rlock 可以实现简单的线程同步，这两个对象都有acquire 方法和release 方法，对于那些需要每次只允许一个线程操作的数据，可以将其操作放到acquire 方法和release 方法之间。如下：

多线程的优势在于可以同时运行多个任务。但是当线程需要共享数据时，可能存在数据不同步的问题。
考虑这样一种情况：一个列表里的所有元素都是0，线程“set”从前往后把所有元素改为1，线程“print”则负责从前往后打印。
那么就有可能打印的线程比设置的线程要快，将没有改为1的打印出来，就会出现前面打印的为1，后面打印的为0的情况。为了避免这种情况，引入了锁的概念。

锁有两种状态——锁定和未锁定。如线程1要访问共享数据时，数据就必须先锁定；这时线程2访问时就会被阻塞，等到线程1访问完毕，数据释放锁，线程2即可访问。这样处理后就可以得到线程同步的效果。（也就不会出现上面两个线程同时打印成一行的结果）

import threading
import time


class MyThread(threading.Thread):
    def __init__(self, thread_id, name, delay):
        threading.Thread.__init__(self)
        self.thread_id = thread_id
        self.name = name
        self.delay = delay

    def run(self):
        print('开始线程：' + self.name)
        print_time(self.name, self.delay, 5)
        print('退出线程：' + self.name)


def print_time(thread_name, delay, counter):
    while counter:
        time.sleep(delay)
        # 锁定状态，不让另一个线程同时打印
        threadingLock.acquire()
        print('{}:{}'.format(thread_name, time.ctime(time.time())))
        # 释放锁
        threadingLock.release()
        counter -= 1


# 创建线程同步锁实例
threadingLock = threading.Lock()
# 创建新线程
thread1 = MyThread(1, 'Thread-1', 1)
thread2 = MyThread(2, 'Thread-2', 2)
# 线程列表
threads = [thread1, thread2]
# 开始所有线程
for t in threads:
    t.start()
# 等待线程结束
for t in threads:
    t.join()

print('退出主线程')

开始线程：Thread-1
开始线程：Thread-2
Thread-1:Sat Oct  3 10:32:16 2020
Thread-1:Sat Oct  3 10:32:17 2020
Thread-2:Sat Oct  3 10:32:17 2020
Thread-1:Sat Oct  3 10:32:18 2020
Thread-2:Sat Oct  3 10:32:19 2020
Thread-1:Sat Oct  3 10:32:19 2020
Thread-1:Sat Oct  3 10:32:20 2020
退出线程：Thread-1
Thread-2:Sat Oct  3 10:32:21 2020
Thread-2:Sat Oct  3 10:32:23 2020
Thread-2:Sat Oct  3 10:32:25 2020
退出线程：Thread-2
退出主线程

线程优先级队列（Queue）

python 的Queue 模块中提供了同步的、线程安全的队列类，包括**FIFO（先进先出）**队列Queue，LIFO（后进先出）队列LifoQueue，和优先级队列PriorityQueue。

这些队列都实现了锁源语，能够在线程中直接使用，可以使用队列来实现线程间的同步。

Queue 模块中的常用方法：

• Queue.qsize()：返回队列的大小。
• Queue.empty()：如果队列为空，返回True，反之False。
• Queue.full()：如果队列满了，返回True，反之False。
• Queue.get([block[,timeout]])：获取队列，timeout 等待时间。
• Queue.get_nowait()：相当于Queue.get(False)。
• Queue.put(item)：写入队列，timeout等待时间。
• Queue.put_nowait(item)：相当于Queue.put(item,False)
• Queue.task_done()：在完成一项工作后，Queue.task_done 函数向任务已完成的队列发送一个信号。
• Queue.join()：实际上意味着等到队列为空，再执行别的操作。

import queue
import threading
import time

exitFlag = 0
# 线程锁实例
queueLock = threading.Lock()

# 创见一个队列，最大容量为10
workQueue = queue.Queue(10)


# 创建线程子类
class MyThread(threading.Thread):
    def __init__(self, thread_id, name, q):
        threading.Thread.__init__(self)
        self.thread_id = thread_id
        self.name = name
        self.q = q

    def run(self):
        print('开始线程' + self.name)
        process_data(self.name, self.q)
        print('结束线程', self.name)


def process_data(thread_name, q):
    while not exitFlag:
        queueLock.acquire()
        # 队列如果不为空
        if not workQueue.empty():
            # 打印一个队列中的元素
            data = q.get()
            queueLock.release()
            print('{} processing {}'.format(thread_name, data))
        else:
            queueLock.release()
        time.sleep(1)


threadList = ['Thread-1', 'Thread-2', 'Thread-3']
nameList = ['One', 'Two', 'Three', 'Four', 'Five']
# 已经开始的线程列表
threads = []
threadID = 1

# 创建线程
for threadName in threadList:
    thread = MyThread(threadID, threadName, workQueue)
    thread.start()
    threads.append(thread)
    threadID += 1

# 填充队列
queueLock.acquire()
# 将nameList中的元素添加到队列
for word in nameList:
    workQueue.put(word)
queueLock.release()

# 等待队列清空
while not workQueue.empty():
    pass

# 通知线程退出
exitFlag = 1

# 等待所有线程完成
for t in threads:
    t.join()
print('退出程序')

开始线程Thread-1
开始线程Thread-2
开始线程Thread-3
Thread-2 processing One
Thread-3 processing Two
Thread-1 processing Three
Thread-2 processing Four
Thread-1 processing Five
结束线程 Thread-3
结束线程 Thread-2
结束线程 Thread-1
退出程序