3.9 NLP
文章平均质量分 88
Bryce1010_贤哉回也
github: https://github.com/Bryce1010
\n
e-mail: bryceyx@gmail.com
展开
-
大模型参数高效微调PEFT的理解和应用
如果对网络层每一层都要重新实现LoRA的方法,是比较复杂的,推荐使用HuggingFace的封装库peft,覆盖基本的网络模型。共用基础LLM是未来的趋势,如果需要快速适应特殊的任务,只需要训练LoRA的参数即可,大大降低了GPU的使用量;当不同任务的切换时,只需要切换不同的LoRA参数;原创 2023-09-11 11:25:19 · 449 阅读 · 0 评论 -
Word2Vec Efficient Estimation of Word Representations inVector Space论文笔记
Word2vec的核心思想是将单词表示为向量,使得这些向量能够反映单词的语义和关联性。总的来说,Word2vec是一种非常有用的自然语言处理技术,它可以将单词表示为向量,从而使得单词能够反映其语义和关联性。其次,它能够处理大量的单词,因为它使用了稠密向量表示。比如King,Man,Woman这3个词,King和Man的特征需要接近,Woman的特征差异会更大。研究一种编码方法,将词映射到高维空间,实现词之间的相似性和相异性,研究单词之间的语义和上下文关系。通过周围的词,预测中心的词。原创 2023-04-06 11:01:35 · 609 阅读 · 1 评论