Python 高级编程和异步IO并发编程 --11_7 ThreadPoolExecutor线程池

from concurrent import futures
from concurrent.futures import ThreadPoolExecutor
'''
 线程池，为什么需要线程池？ 
 1. 主线程中可以获取某一个线程的状态，或者某一个任务的状态，以及返回值。
 2. 当一个线程完成的时候，主线程能立即知道，并获取状态
 3. future可以让多线程和多进程编码，接口一致 
'''

import time

def get_html(times):
    time.sleep(times)
    print("get page {} success".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)
# 通过submit函数提交执行的函数到线程池中，Submit非阻塞，立即返回
task1 = executor.submit(get_html,(3))   # 传递的是函数名称，而不能是函数的调用get_html()
task2 = executor.submit(get_html,(2))

print(task1.done()) # done方法用于判断任务有没有执行成功
print(task2.cancel()) # cancel 只能在submit返回的对象上操作，不可在executer上面操作。是future类的方法。
# cancel方法在执行中，是无法取消的，只有在为开始执行时才可以取消。
# executor = ThreadPoolExecutor(max_workers=2)  定义了同时有两个线程执行，因此task1/task2 已提交就立即执行，因此此处无法取消。
time.sleep(4)
print(task1.done())
print(task1.result())  # result方法返回task的执行结果

False
False
get page 2 success
get page 3 success
True
3

from concurrent import futures
from concurrent.futures import ThreadPoolExecutor
'''
 线程池，为什么需要线程池？ 
 1. 主线程中可以获取某一个线程的状态，或者某一个任务的状态，以及返回值。
 2. 当一个线程完成的时候，主线程能立即知道，并获取状态
 3. future可以让多线程和多进程编码，接口一致 
'''

import time

def get_html(times):
    time.sleep(times)
    print("get page {} success".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=1)
# 通过submit函数提交执行的函数到线程池中，Submit非阻塞，立即返回
task1 = executor.submit(get_html,(3))   # 传递的是函数名称，而不能是函数的调用get_html()
task2 = executor.submit(get_html,(2))

print(task1.done()) # done方法用于判断任务有没有执行成功
print(task2.cancel()) 
'''
# cancel 只能在submit返回的对象上操作，不可在executer上面操作。是future类的方法。
# cancel方法在执行中，是无法取消的，只有在为开始执行时才可以取消。
# 更新为executor = ThreadPoolExecutor(max_workers=1)  定义了同时有一个线程执行，因此只有task1提交，task2就可以取消。
'''
time.sleep(4)
print(task1.done())
print(task1.result())  # result方法返回task的执行结果

False
True      # Task已经成功取消
get page 3 success  # 不再打印get page 2 success
True
3

from concurrent import futures
from concurrent.futures import ThreadPoolExecutor,as_completed
'''
 线程池，为什么需要线程池？ 
 1. 主线程中可以获取某一个线程的状态，或者某一个任务的状态，以及返回值。
 2. 当一个线程完成的时候，主线程能立即知道，并获取状态
 3. future可以让多线程和多进程编码，接口一致 
'''

import time

def get_html(times):
    time.sleep(times)
    print("get page {} success".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)

# 获取已经成功的task值，用as_completed 方法,它是一个生成器方法，只会返回已经成功的yield
urls = [3,2,4]   # 假设定义三个url，sleep3秒1个，2秒1个，4秒1个。
all_task = [executor.submit(get_html,(url)) for url in urls]
for future in as_completed(all_task):
    data = future.result()
    print("page {} success".format(data))

get page 2 success
page 2 success
get page 3 success
page 3 success
get page 4 success
page 4 success

from concurrent import futures
from concurrent.futures import ThreadPoolExecutor,as_completed
import time

def get_html(times):
    time.sleep(times)
    print("get page {} success".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)

# 获取已经成功的task值，用as_completed 方法,它是一个生成器方法，只会返回已经成功的yield
urls = [3,2,4]   # 假设定义三个url，sleep3秒1个，2秒1个，4秒1个。
all_task = [executor.submit(get_html,(url)) for url in urls]

# 通过executor获取已经完成的task
for data in executor.map(get_html,urls):
    print("page {} success".format(data))

get page 2 success
get page 3 success
get page 3 success
page 3 success
get page 4 success
get page 2 success
page 2 success
get page 4 success
page 4 success

from concurrent import futures
from concurrent.futures import ThreadPoolExecutor,as_completed,wait
import time

def get_html(times):
    time.sleep(times)
    print("get page {} success".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)

# 获取已经成功的task值，用as_completed 方法,它是一个生成器方法，只会返回已经成功的yield
urls = [3,2,4]   # 假设定义三个url，sleep3秒1个，2秒1个，4秒1个。
all_task = [executor.submit(get_html,(url)) for url in urls]
wait(all_task)   # 等待所有的线程执行完。
print("All Task Completed")

get page 2 success
get page 3 success
get page 4 success
All Task Completed

from concurrent import futures
from concurrent.futures import ThreadPoolExecutor,as_completed,wait,FIRST_COMPLETED
import time

def get_html(times):
    time.sleep(times)
    print("get page {} success".format(times))
    return times

executor = ThreadPoolExecutor(max_workers=2)

# 获取已经成功的task值，用as_completed 方法,它是一个生成器方法，只会返回已经成功的yield
urls = [3,2,4]   # 假设定义三个url，sleep3秒1个，2秒1个，4秒1个。
all_task = [executor.submit(get_html,(url)) for url in urls]
wait(all_task,return_when=FIRST_COMPLETED)   # 第一个线程执行完就打印
print("All Task Completed")

get page 2 success
All Task Completed
get page 3 success
get page 4 success