![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 76
深度学习过程的一些笔记
coolhuhu~
做三四月事,在八九月自有答案。
展开
-
pytorch单机多卡训练--完整示例代码
实现了多卡训练中数据的 shuffle 功能,此外,为了保证每个epoch训练中,数据shuffle成功,需要在每个 epoch 的 dataloader 前调用。在多人共用多卡的情况下,并不是任何时刻每张卡都是空闲的,因此,在模型训练和推理时,需要指定可用的gpu。如上所示,每个gpu的一个 batch size 为32,如果gpu的可用数量为4,那么有效的 batch size 为 32 x 4;若一个服务器上有多个GPU设备,可以使用多GPU设备进行训练,充分利用多GPU计算的性能,缩短训练时长。原创 2023-06-21 11:36:55 · 7812 阅读 · 8 评论 -
ANN搜索—Faiss库的基本使用
Faiss 是一个用于高效相似性搜索和密集向量聚类的库。它包含搜索任意大小的向量集的算法,直到可能不适合 RAM 的向量集。它还包含用于评估和参数调整的支持代码。Faiss 是用 C++ 编写的,具有完整的 Python/numpy 包装器。一些最有用的算法是在 GPU 上实现的。原创 2023-01-04 15:07:37 · 1204 阅读 · 0 评论 -
训练自己的GloVe词向量
使用自己的语料库训练GloVe词向量原创 2022-10-20 22:11:55 · 614 阅读 · 0 评论 -
记录一个深度学习跑模型的过程中遇到的bug,symbol lookup error
说明:该解决方法不具有普遍性python: symbol lookup error: /opt/conda/envs/lh/lib/python3.9/site-packages/mkl/../../../libmkl_intel_thread.so.1: undefined symbol: __kmpc_global_thread_num在模型运行过程中报如上错误,定位到了 mkl 这个包,去 pypi 查了一下该库的说明,对该库的说明如下:Intel® oneAPI Math Kernel Li原创 2022-05-21 10:06:03 · 1559 阅读 · 0 评论 -
torchtext 的基本使用
可以结合博客《使用BERT+BiGRU对京东手机评论进行情感分析》来看1. FieldField对于自然语言处理的诸多任务,不同的任务所需要处理的数据的类型不一样,但最后都是需要把这些数据转化为计算机能够计算的数值形式,Field 类的设计就是用来将不同的文本数据转化为用 tensor 表示,以情感分析为例;情感分析的数据一般由 Text 和 Label 两个字段来表示,Text 表示一个文本、一段话或一个句子,Label 表示 Text 的类别,积极或消极,也可用数字 0 和 1 表示;Field原创 2022-04-22 10:36:33 · 730 阅读 · 0 评论 -
使用BERT+BiGRU对京东手机评论进行情感分析
使用BERT+GRU对京东手机评论进行情感分析原创 2022-03-29 20:07:59 · 3665 阅读 · 10 评论 -
解决在使用huggingface下载数据集失败的问题(ConnectionError)
解决在使用huggingface下载数据集失败的问题(ConnectionError)原创 2022-04-18 12:14:14 · 23200 阅读 · 26 评论