hj_caas
目前研究生在读,主要研究方向是自然语言处理领域,研究知识图谱、方面级情感分析等。目前熟悉python爬虫、机器学习、深度学习、NLP等相关技术,由于本人比较懒散,不会定期更新,后期会慢慢充实相关专题。
展开
-
Prompt提示优化工具
在大模型使用过程中,Prompt尤为重要。一个好的Prompt可以解决很多的问题。那么如何撰写一个完美的Prompt?下面汇总了一些Prompt工具,可以辅助日常Prompt的编写。原创 2023-12-13 22:45:43 · 1361 阅读 · 0 评论 -
LLM三阶段训练代码汇总
在进行大模型的阶段训练时,从头编写代码有点浪费时间。为了更高效地实现这一目标,我们可以利用GitHub上已有的现成代码。下面对现成的代码库进行总结。原创 2023-11-29 22:34:39 · 1365 阅读 · 0 评论 -
深入解析:Peft Adapter与LLM融合
在增量预训练阶段或有监督微调阶段使用高效微调方法(Lora)时会产生adapter文件,相当于是一个“补丁”。那么如何将“补丁”与原始模型合并呢?下面将对模型合并代码进行解读。原创 2023-11-27 20:35:27 · 1384 阅读 · 0 评论 -
大模型三阶段训练
为了训练专有领域模型,选择LLaMA2-7B作为基座模型,由于LLaMA模型中文词表有限,因此首先进行中文词表的扩展,然后进行三阶段训练(增量预训练,有监督微调,强化学习)。原创 2023-11-26 19:41:47 · 504 阅读 · 0 评论 -
大模型增量预训练参数说明
在增量预训练过程中通常需要设置三类或四类参数,模型参数,数据参数,训练参数,额外参数。下面分别针对这四种参数进行说明。原创 2023-11-23 22:19:04 · 954 阅读 · 0 评论 -
大语言模型的三阶段训练
为了训练专有领域模型,选择LLaMA2-7B作为基座模型,由于LLaMA模型中文词表有限,因此首先进行中文词表的扩展,然后进行三阶段训练(增量预训练,有监督微调,强化学习)。原创 2023-11-20 22:10:45 · 1049 阅读 · 0 评论 -
大语言模型的三阶段训练
为了训练专有领域模型,选择LLaMA2-7B作为基座模型,由于LLaMA模型中文词表有限,因此首先进行中文词表的扩展,然后进行三阶段训练(增量预训练,有监督微调,强化学习)。原创 2023-11-19 22:00:31 · 1589 阅读 · 0 评论