Python threading Thread多线程的使用方法

Python threading Thread多线程的使用方法

参考资料：《Python 多线程》http://www.runoob.com/python/python-multithreading.html

目录

Python threading Thread多线程的使用方法

1.使用Threading模块创建线程

2.Thread线程同步

3.使用多线程读取图像并返回数据

---

1.使用Threading模块创建线程

使用Threading模块创建线程，直接从threading.Thread继承，然后重写__init__方法和run方法：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
 
import threading
import time
 
exitFlag = 0
 
class myThread (threading.Thread):   #继承父类threading.Thread
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter
    def run(self):                   #把要执行的代码写到run函数里面 线程在创建后会直接运行run函数 
        print "Starting " + self.name
        print_time(self.name, self.counter, 5)
        print "Exiting " + self.name
 
def print_time(threadName, delay, counter):
    while counter:
        if exitFlag:
            (threading.Thread).exit()
        time.sleep(delay)
        print "%s: %s" % (threadName, time.ctime(time.time()))
        counter -= 1
 
# 创建新线程
thread1 = myThread(1, "Thread-1", 1)
thread2 = myThread(2, "Thread-2", 2)
 
# 开启线程
thread1.start()
thread2.start()
 
print "Exiting Main Thread"

以上程序执行结果如下；

Starting Thread-1
Starting Thread-2
Exiting Main Thread
Thread-1: Thu Mar 21 09:10:03 2013
Thread-1: Thu Mar 21 09:10:04 2013
Thread-2: Thu Mar 21 09:10:04 2013
Thread-1: Thu Mar 21 09:10:05 2013
Thread-1: Thu Mar 21 09:10:06 2013
Thread-2: Thu Mar 21 09:10:06 2013
Thread-1: Thu Mar 21 09:10:07 2013
Exiting Thread-1
Thread-2: Thu Mar 21 09:10:08 2013
Thread-2: Thu Mar 21 09:10:10 2013
Thread-2: Thu Mar 21 09:10:12 2013
Exiting Thread-2

2.Thread线程同步

如果多个线程共同对某个数据修改，则可能出现不可预料的结果，为了保证数据的正确性，需要对多个线程进行同步。使用Thread对象的Lock和Rlock可以实现简单的线程同步，这两个对象都有acquire方法和release方法，对于那些需要每次只允许一个线程操作的数据，可以将其操作放到acquire和release方法之间。

多线程的优势在于可以同时运行多个任务（至少感觉起来是这样）。但是当线程需要共享数据时，可能存在数据不同步的问题。

考虑这样一种情况：一个列表里所有元素都是0，线程"set"从后向前把所有元素改成1，而线程"print"负责从前往后读取列表并打印。

那么，可能线程"set"开始改的时候，线程"print"便来打印列表了，输出就成了一半0一半1，这就是数据的不同步。为了避免这种情况，引入了锁的概念。

锁有两种状态——锁定和未锁定。每当一个线程比如"set"要访问共享数据时，必须先获得锁定；如果已经有别的线程比如"print"获得锁定了，那么就让线程"set"暂停，也就是同步阻塞；等到线程"print"访问完毕，释放锁以后，再让线程"set"继续。

经过这样的处理，打印列表时要么全部输出0，要么全部输出1，不会再出现一半0一半1的尴尬场面。

# -*-coding: utf-8 -*-
"""
    @Project: cluster
    @File   : thread_processing.py
    @Author : panjq
    @E-mail : pan_jinquan@163.com
    @Date   : 2019-03-13 13:43:49
"""
# !/usr/bin/python
# -*- coding: UTF-8 -*-

# !/usr/bin/python
# -*- coding: UTF-8 -*-

import threading
import time


class myThread(threading.Thread):
    def __init__(self, threadID, name, counter):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.counter = counter

    def run(self):
        print("Starting " + self.name)
        # 获得锁，成功获得锁定后返回True
        # 可选的timeout参数不填时将一直阻塞直到获得锁定
        # 否则超时后将返回False
        threadLock.acquire()
        self.print_time(self.name, self.counter, 3)
        # 释放锁
        threadLock.release()


    def print_time(self,threadName, delay, counter):
        while counter:
            time.sleep(delay)
            print("%s: %s" % (threadName, time.ctime(time.time())))
            counter -= 1


threadLock = threading.Lock()
threads = []

# 创建新线程
thread1 = myThread(1, "Thread-1", 1)
thread2 = myThread(2, "Thread-2", 2)

# 开启新线程
thread1.start()
thread2.start()

# 添加线程到线程列表
threads.append(thread1)
threads.append(thread2)

# 等待所有线程完成
for t in threads:
    t.join()
print("Exiting Main Thread")

3.使用多线程读取图像并返回数据

下面是使用多线程的方法，实现读取图片的方法，注意这里增加了一个函数get_result，用于返回每个线程处理后的数据

其中file_processing和image_processing是本人包装好的文件处理方法和图像处理方法，具体实现的代码，这里不贴出来了，源码可查看：

file_processing：《Python常用的模块的使用技巧》https://panjinquan.blog.csdn.net/article/details/80805807#file_processing.py

image_processing：《Python常用的模块的使用技巧》https://panjinquan.blog.csdn.net/article/details/80805807#image_processing.py

# -*-coding: utf-8 -*-
"""
    @Project: cluster
    @File   : thread_operate.py
    @Author : panjq
    @E-mail : pan_jinquan@163.com
    @Date   : 2019-03-13 13:43:49
"""

from utils import file_processing,image_processing
import threading
import time

threadLock = threading.Lock()#创建线程锁

class FeatureThread(threading.Thread):
    def __init__(self, thread_id, func, args=()):
        '''
        :param thread_id:
        :param func:
        :param args:
        '''
        threading.Thread.__init__(self)
        self.thread_id = thread_id
        self.func = func
        self.args = args

    def run(self):
        print("Starting thread_id:{} ".format(self.thread_id))
        # 获得锁，成功获得锁定后返回True， 可选的timeout参数不填时将一直阻塞直到获得锁定， 否则超时后将返回False
        # threadLock.acquire() #线程加锁
        self.result = self.func(*self.args)
        # threadLock.release()# 释放锁
    def get_result(self):
        try:
            return self.result
        except Exception:
            return None

def test_fun(images_list):
    time.sleep(2)
    print(images_list)
    images=[]
    for filename in images_list:
        image = image_processing.read_image(filename, resize_height=224, resize_width=224, normalization=False)
        images.append(image)
    return images

def split_data_list(data_list, split_nums):
    '''
    :param data_list: 数据列表
    :param split_nums: 将列表分成多少块，注意split_nums块必须小于data_list的长度
    :return: 返回data_list分块后的索引
    '''
    data_size=len(data_list)
    if split_nums>data_size:
        print("illegal arguments,split_nums must be less than len(data_size)")
        exit(0)
    batch_index=[]
    for i in range(split_nums):
        start = int(data_size / split_nums * i)
        end = int(data_size / split_nums * (i + 1))
        if (i == split_nums - 1) :
            end = data_size
        batch_index.append((start,end))
    return batch_index

def thread_test(images_list, nums_thread=4):
    thread_collection = []#创建线程容器
    # 创建新线程
    batch_index=split_data_list(images_list, split_nums=nums_thread)
    print("batch_index:{}".format(batch_index))
    for i in range(nums_thread):
        start,end=batch_index[i]
        batch_image_list=images_list[start:end]
        thread = FeatureThread(thread_id=i, func=test_fun, args=(batch_image_list,))
        thread.start()    # 开启新线程
        thread_collection.append(thread)# 添加线程到线程列表

    # 等待所有线程完成
    for thread in thread_collection:
        thread.join()
        batch_image=thread.get_result()
        image_processing.show_image(title="image",image=batch_image[0])

    print("Exiting Main Thread")


if __name__=='__main__':
    image_dir="../dataset/test_images"
    images_list = file_processing.get_images_list(image_dir, postfix=['*.png', '*.JPG'])
    print(images_list)
    thread_test(images_list, nums_thread=4)