教你控制Python多线程中线程数量_python限制线程数量,剩下的线程怎么办(1)

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

image_urls = []

x = 1  # 定义一个标识，用于给每个图片url编号，从1递增
for i in range(1, page_number):
    url = base_url + str(i)  # 根据页码遍历请求url
    try:
        html = get_html(url)  # 解析每个页面的内容
        if html:
            data = parse_html(html)  # 提取页面中的图片url
            # print(data)
            # time.sleep(3)
            if data:
                for j in data:
                    image_urls.append({
                        'name': x,
                        'value': j
                    })
                    x += 1  # 每提取一个图片url，标识x增加1
    except RequestException as f:
        print("遇到错误：", f)
        continue
# print(image\_urls)
return image_urls

def get_image_content(url):
“”“请求图片url，返回二进制内容”“”
# print(“正在下载”, url)
try:
r = requests.get(url, timeout=15)
if r.status_code == 200:
return r.content
return None
except RequestException:
return None

def main(url, image_name):
“”"
主函数：实现下载图片功能
:param url: 图片url
:param image_name: 图片名称
:return:
“”"
semaphore.acquire() # 加锁，限制线程数
print(‘当前子线程: {}’.format(threading.current_thread().name))
save_path = os.path.dirname(os.path.abspath(‘.’)) + ‘/pics/’
try:
file_path = ‘{0}/{1}.jpg’.format(save_path, image_name)
if not os.path.exists(file_path): # 判断是否存在文件，不存在则爬取
with open(file_path, ‘wb’) as f:
f.write(get_image_content(url))
f.close()

            print('第{}个文件保存成功'.format(image_name))

    else:
        print("第{}个文件已存在".format(image_name))

    semaphore.release()  # 解锁imgbin-多线程-重写run方法.py

except FileNotFoundError as f:
    print("第{}个文件下载时遇到错误，url为：{}：".format(image_name, url))
    print("报错：", f)
    raise

except TypeError as e:
    print("第{}个文件下载时遇到错误，url为：{}：".format(image_name, url))
    print("报错：", e)

class MyThread(threading.Thread):
“”“继承Thread类重写run方法创建新进程”“”
def __init__(self, func, args):
“”"

:param func: run方法中要调用的函数名
:param args: func函数所需的参数
“”"
threading.Thread.init(self)
self.func = func
self.args = args

def run(self):
    print('当前子线程: {}'.format(threading.current_thread().name))
    self.func(self.args[0], self.args[1])
    # 调用func函数
    # 因为这里的func函数其实是上述的main()函数，它需要2个参数；args传入的是个参数元组，拆解开来传入

if name == ‘__main__’:
start = time.time()
print(‘这是主线程：{}’.format(threading.current_thread().name))

urls = get_all_image_url(5)  # 获取所有图片url列表
thread_list = []  # 定义一个列表，向里面追加线程
semaphore = threading.BoundedSemaphore(5) # 或使用Semaphore方法
for t in urls:
    # print(i)

    m = MyThread(main, (t["value"], t["name"]))  # 调用MyThread类，得到一个实例

    thread_list.append(m)

for m in thread_list:

    m.start()  # 调用start()方法，开始执行

for m in thread_list:
    m.join()  # 子线程调用join()方法，使主线程等待子线程运行完毕之后才退出


end = time.time()
print(end-start)
# get\_image\_pages("https://imgbin.com/free-png/Naruto")

**将代码进行改造**


1、下面的第8、9行表示调用 threading 的 BoundedSemaphore类，初始化信号量为5，把结果赋给变量 pool\_sema

if name == ‘__main__’:
start = time.time()
print(‘这是主线程：{}’.format(threading.current_thread().name))

urls = get_all_image_url(5)  # 获取所有图片url列表
thread_list = []  # 定义一个列表，向里面追加线程
# 更多Python相关视频、资料加群778463939免费获取
max_connections = 5  # 定义最大线程数
pool_sema = threading.BoundedSemaphore(max_connections) # 或使用Semaphore方法
for t in urls:
    # print(i)

    m = MyThread(main, (t["value"], t["name"]))  # 调用MyThread类，得到一个实例

    thread_list.append(m)

for m in thread_list:

    m.start()  # 调用start()方法，开始执行

for m in thread_list:
    m.join()  # 子线程调用join()方法，使主线程等待子线程运行完毕之后才退出


end = time.time()
print(end-start)

2、修改main()函数


（1）方法一：通过with语句实现，第9行添加 with pool\_sema


使用 with 语句来获得一个锁、条件变量或信号量，相当于调用 acquire()；离开 with 块后，会自动调用 release()

def main(url, image_name):
“”"
主函数：实现下载图片功能
:param url: 图片url
:param image_name: 图片名称
:return:
“”"

with pool_sema:
    print('当前子线程: {}'.format(threading.current_thread().name))
    save_path = os.path.dirname(os.path.abspath('.')) + '/pics/'
    try:
        file_path = '{0}/{1}.jpg'.format(save_path, image_name)
        if not os.path.exists(file_path):  # 判断是否存在文件，不存在则爬取
            with open(file_path, 'wb') as f:
                f.write(get_image_content(url))
                f.close()

                print('第{}个文件保存成功'.format(image_name))

        else:
            print("第{}个文件已存在".format(image_name))



    except FileNotFoundError as f:
        print("第{}个文件下载时遇到错误，url为：{}：".format(image_name, url))
        print("报错：", f)
        raise

    except TypeError as e:
        print("第{}个文件下载时遇到错误，url为：{}：".format(image_name, url))
        print("报错：", e)

（2）方法二：直接使用 acquire()和 release()


下面的第8行调用 acquire()，第24行调用release()

def main(url, image_name):
“”"
主函数：实现下载图片功能
:param url: 图片url
:param image_name: 图片名称
:return:
“”"
pool_sema.acquire() # 加锁，限制线程数
# with pool_sema:
print(‘当前子线程: {}’.format(threading.current_thread().name))
save_path = os.path.dirname(os.path.abspath(‘.’)) + ‘/pics/’
try:
file_path = ‘{0}/{1}.jpg’.format(save_path, image_name)
if not os.path.exists(file_path): # 判断是否存在文件，不存在则爬取
with open(file_path, ‘wb’) as f:
f.write(get_image_content(url))
f.close()

            print('第{}个文件保存成功'.format(image_name))

    else:

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！