在使用joblib进行并行计算时报错UnicodeEncodeError: ‘ascii‘ codec can‘t encode...的解决办法。

一、报错代码

使用joblib进行并行计算，发现如下报错：

raceback (most recent call last):
  File "d:\项目\hs-sr-tvtv\main.py", line 71, in <module>
    x_solver_parallel = TVTVHS_Solver(M, N, Z, W, args.beta, args.scaling_factor, R, y)
                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "d:\项目\hs-sr-tvtv\TVTVHS_Solver.py", line 235, in TVTVHS_Solver
    u_bar = get_u(nbands, lam, rho, w, u_bar, Fc_v, Fc_h, beta, v_bar)
            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "d:\项目\hs-sr-tvtv\TVTVHS_Solver.py", line 60, in get_u
    u = Parallel(n_jobs=num_cores)(delayed(find_u)(lam[:, i], rho[i], w[:,i], u_bar[:,i], Fc_v, Fc_h, beta[i], v_bar[:,i]) for i in range(nbands))
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\parallel.py", line 1008, in __call__
    n_jobs = self._initialize_backend()
             ^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\parallel.py", line 775, in _initialize_backend
    n_jobs = self._backend.configure(n_jobs=self.n_jobs, parallel=self,
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\_parallel_backends.py", line 506, in configure
    self._workers = get_memmapping_executor(
                    ^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\executor.py", line 20, in get_memmapping_executor
    return MemmappingExecutor.get_memmapping_executor(n_jobs, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\executor.py", line 42, in get_memmapping_executor
    manager = TemporaryResourcesManager(temp_folder)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\_memmapping_reducer.py", line 535, in __in __init__
    self.set_current_context(context_id)
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\_memmapping_reducer.py", line 539, in set_current_context
    self.register_new_context(context_id)
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\_memmapping_reducer.py", line 564, in register_new_context
    self.register_folder_finalizer(new_folder_path, context_id)
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\_memmapping_reducer.py", line 594, in register_folder_finalizer       
    resource_tracker.register(pool_subfolder, "folder")
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\externals\loky\backend\resource_tracker.py", line 179, in register    
    self._send('REGISTER', name, rtype)
  File "D:\anaconda\anaconda1\Lib\site-packages\joblib\externals\loky\backend\resource_tracker.py", line 196, in _send       
    msg = f'{cmd}:{name}:{rtype}\n'.encode('ascii')
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
UnicodeEncodeError: 'ascii' codec can't encode characters in position 18-20: ordinal not in range(128)

经过初步查验代码报错原因，可以基本锁定是parallel函数出现了问题，报错的结论是在编码时出现了问题，即出现了ASCII无法识别的标识（ascii值是无法识别中文的）。但是我的项目文件已经路径已经改成了英文路径，并且我的python版本也是3.X（默认编码时utf-8）所以目前来看是找不到报错的具体信息了，只能跟着报错代码一步步的调试，同时也需要了解parallel函数的工作原理

二、parallel函数工作原理

parallel函数是joblib库中最为重要的两个函数：

Parallel函数会创建一个进程池，以便在多进程中执行每一个列表项。

函数中，我们设置参数n_jobs来设置开启进程数。   

parallel函数的定义如下

class joblib.parallel(n_jobs=None, backend=None, verbose=0, timeout=None, pre_dispatch='2 * n_jobs',  batch_size='auto',temp_folder=None, max_nbytes='1M', mmap_mode='r', prefer=None, require=None)

  如果足够细心，就能发现parallel函数接受的参数中有一个参数值是 tem_folder也就是临时文件夹。这点十分重要如果没有立即注意到这一点也没有关系，可以通过报错代码一步步跟进。

三、检查joblib库的python源代码

通过一步步的检查joblib库的相关源代码，发现有两个源码文件的相关函数非常的关键一个是resource_tracker.py文件中的send函数：

def _send(self, cmd, name, rtype):
        if len(name) > 512:
            # posix guarantees that writes to a pipe of less than PIPE_BUF
            # bytes are atomic, and that PIPE_BUF >= 512
            raise ValueError('name too long')
        msg = f'{cmd}:{name}:{rtype}\n'.encode('ascii')
        nbytes = os.write(self._fd, msg)
        assert nbytes == len(msg)

在这一代码中发现msg的定义是只接受ASCII值的，这里就和报错信息ASCII无法解析息息相关了

另一个比较关键的源代码是_memmapping_reducer.py文件的其中一个构造函数

 def __init__(self, temp_folder_root=None, context_id=None):
        self._current_temp_folder = None
        self._temp_folder_root = temp_folder_root
        self._use_shared_mem = None
        self._cached_temp_folders = dict()
        self._id = uuid4().hex
        self._finalizers = {}
        if context_id is None:
            # It would be safer to not assign a default context id (less silent
            # bugs), but doing this while maintaining backward compatibility
            # with the previous, context-unaware version get_memmaping_executor
            # exposes exposes too many low-level details.
            context_id = uuid4().hex
        self.set_current_context(context_id)

 简而言之这个函数就是用来创建临时文件夹的而这个临时文件夹的根目录是默认的也就是temp_folder_root=None.那么这个默认的目录是什么呢。一般的Windows系统中默认的是“C:\Windows\Temp”或“C:\Users\用户名\AppData\Local\Temp”，在Mac中默认的是/private/var/folders/xx/xxxxxxxxxxxxxxxxx/T”在Linux系统中默认的是“/tmp”或者“/var/tmp”具体的可以查看本操作系统中的环境变量中的TEMP变量的内容，而一般的都是通过用户环境变量的相关通道，因为查看了我的用户环境变量中的路径是默认的带用户名的，而我的用户名是带中文的，中文是ASCII值解析不了的所以解决办法就很明确了。

四、解决的办法

为了解决中文无法被ASCII值解析的问题有两种思路第一种是改变自己的用户名，事实上这个解决办法不是那么现实，因为更改一个用户名需要进行大量的备份迁移工作所以只能放弃选择另一种·1就是改变自己的TEMP环境变量，设置成不带中文的路径，我将其改变成在D盘下的一个文件夹。

除此之外还有一些其它的解决办法提供参考，大家可以进行尝试，欢迎交流：

（1）改变用户权限，尝试通过调用系统环境变量，因为默认情况下系统环境变量是不带用户名的是合法的。

（2）修改python中joblib库的相关源代码（我也尝试过，但是即便改成了管理员模式也不能修改）

五、总结

只能简单的总结两点：在操作系统中对带中文的路径真的很不友好，大家一定要养成习惯在创建相关名字时一定要用英文。第二就是在修改相关环境变量和源码文件时一定尽量的在虚拟机上进行操作，这样有足够的容错空间！！！