- 博客(2)
- 收藏
- 关注
RSS订阅原创 多进程加速LMDB文件写入及使用LMDB时遇到的问题
项目场景：LMDB数据库可以同时由多个进程打开，使用内存映射的方式访问文件使得文件内寻址的开销非常小，能有效减少数据集复制/传输过程的开销，具有极高的数据存取速度最近尝试将数据集写入LMDB以提高模型训练速度使用以下代码将数据集多进程加速写入LMDBdef write_lmdb(train_image_list): env = lmdb.open('../dataset/train_', 13610000000) cache = {} for idx, (image, lab
2022-04-04 05:38:42
3096
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人