python进度条tqdm

1. 简介

在进行一个很长的 for 循环的时候，如何查看循环进度？

Tqdm 是一个智能进度表，是一个快速，可扩展的 Python 进度条，可以在 Python 长循环中添加一个进度提示信息，用户只需要封装任意的迭代器 tqdm(iterator)。它能够显示所有可迭代对象当前执行的进度。

你只需要用 tqdm 对可迭代对象进行封装后再遍历即可实现进度条功能，比如说：

from tqdm import tqdm
for i in tqdm(range(10000)):
    ...

显示效果如下：

76%|████████████████████████ | 7568/10000 [00:33<00:10, 229.00it/s]

解读：

2. 安装

使用pip就可以安装。Windows环境下打开Cmd(开始—运行—CMD)，

pip install tqdm

3. 使用方法

3.1 自动控制

使用方法一: tqdm

tqdm(list) 方法可以传入任意一种 list, 比如数组

from tqdm import tqdm

for i in tqdm(range(1000)):  
     #do something
     pass  

# 输出
100%|██████████| 1000/1000 [00:00<00:00, 1003662.12it/s]

或者string的数组

for char in tqdm(["a", "b", "c", "d"]):
    #do something
    pass

使用方法二: trange

trange(i) 是 tqdm(range(i)) 的简单写法

from tqdm import trange
for i in trange(100):
    #do something
    pass
# 输出
100%|██████████| 100/100 [00:00<?, ?it/s]

使用方法三: 手动方法

在for循环外部初始化tqdm,可以打印其他信息

pbar = tqdm(["a", "b", "c", "d"])
for char in pbar:
    pbar.set_description("Processing %s" % char)

效果：

100%|███████████████████████████████████| 857K/857K [00:04<00:00, 246Kloc/s]

3.2 手动控制的形式

除了迭代的形式，你可以手动控制进度，加一个 tqdm上下文 即可：

with tqdm(total=100) as pbar:  # total 的值即是总进度
    for i in range(10):
        sleep(0.1)
        pbar.update(10)  # 进度加10

上述例子中，pbar 是 tpdm 的“进度”，每一次对 pbar 进行 update 10 都相当于进度加10。

total 的值即是总进度，这里 total 的值是100，那么pbar加到100的时候进度也就结束了。

你也可以选择不使用上下文的形式调用，但要记得结束后对对象进行关闭操作：

pbar = tqdm(total=100)
for i in range(10):
    sleep(0.1)
    pbar.update(10)
pbar.close()

processes = []
ans = []

file_pattern = os.path.join(workdir, f"*.{pattern}")
files = glob(file_pattern)

pool = multiprocessing.Pool(processes=2)
for file in tqdm(files, total=len(files)):
    print(file)
    processes.append(pool.apply_async(read_file, args=(file, pattern), ))

4. 总结

tqdm模块是python进度条库, 主要分为两种运行模式

4.1 基于迭代对象运行: tqdm(iterator)

import time
from tqdm import tqdm, trange

#trange(i)是tqdm(range(i))的一种简单写法
for i in trange(100):
    time.sleep(0.05)

for i in tqdm(range(100), desc='Processing'):
    time.sleep(0.05)

dic = ['a', 'b', 'c', 'd', 'e']
pbar = tqdm(dic)
for i in pbar:
    pbar.set_description('Processing '+i)
    time.sleep(0.2)
    
100%|██████████| 100/100 [00:06<00:00, 16.04it/s]
Processing: 100%|██████████| 100/100 [00:06<00:00, 16.05it/s]
Processing e: 100%|██████████| 5/5 [00:01<00:00,  4.69it/s]

4.2 手动进行更新

import time
from tqdm import tqdm

with tqdm(total=200) as pbar:
    pbar.set_description('Processing:')
    # total表示总的项目, 循环的次数20*10(每次更新数目) = 200(total)
    for i in range(20):
        # 进行动作, 这里是过0.1s
        time.sleep(0.1)
        # 进行进度更新, 这里设置10个（每次增加10，20次就增加到了 200次，然后结束）
        pbar.update(10)
Processing:: 100%|██████████| 200/200 [00:02<00:00, 91.94it/s]

4.3 tqdm模块参数说明

class tqdm(object):
  """
  Decorate an iterable object, returning an iterator which acts exactly
  like the original iterable, but prints a dynamically updating
  progressbar every time a value is requested.
  """

  def __init__(self, iterable=None, desc=None, total=None, leave=False,
               file=sys.stderr, ncols=None, mininterval=0.1,
               maxinterval=10.0, miniters=None, ascii=None,
               disable=False, unit='it', unit_scale=False,
               dynamic_ncols=False, smoothing=0.3, nested=False,
               bar_format=None, initial=0, gui=False):

• iterable: 可迭代的对象, 在手动更新时不需要进行设置
• desc: 字符串, 左边进度条描述文字
• total: 总的项目数
• leave: bool值, 迭代完成后是否保留进度条
• file: 输出指向位置, 默认是终端, 一般不需要设置
• ncols: 调整进度条宽度, 默认是根据环境自动调节长度, 如果设置为0, 就没有进度条, 只有输出的信息
• unit: 描述处理项目的文字, 默认是’it’, 例如: 100 it/s, 处理照片的话设置为’img’ ,则为 100 img/s
• unit_scale: 自动根据国际标准进行项目处理速度单位的换算, 例如 100000 it/s >> 100k it/s

4.4 实例

import time
from tqdm import tqdm

# 发呆0.5s
def action():
    time.sleep(0.5)
with tqdm(total=100000, desc='Example', leave=True, ncols=100, unit='B', unit_scale=True) as pbar:
    for i in range(10):
        # 发呆0.5秒
        action()
        # 更新发呆进度
        pbar.update(10000)
Example: 100%|███████████████████████████████████████████████████| 100k/100k [00:05<00:00, 19.6kB/s]

6. tqdm与pandas搭配使用

from tqdm import tqdm
tqdm.pandas()
df_train['annotations'] = df_train['annotations'].progress_apply(lambda x: ast.literal_eval(x))

from tqdm import tqdm
tqdm.pandas(desc='pandas bar')
df_result = df['score'].progress_apply(lambda x: str(x)[0:7])

参考资料：

[1] tqdm介绍；