![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
萱仔大模型学习记录
文章平均质量分 94
萱仔学习自我记录
这个作者很懒,什么都没留下…
展开
-
旧项目新学习-天池-零基础入门NLP - 新闻文本分类 - BERT算法处理
在多种语言理解任务中取得了显著的性能提升,包括问答系统、语言推断、情感分析等。BERT的核心创新在于利用双向Transformer网络预训练深度双向表征,这些表征随后可以被微调用来改善各种特定的NLP任务。当时代码使用了机器学习的方法进行处理,结果仅有80%多的准确率,最近整理代码发现这个项目已经有了更好的处理方式,记录一下代码的训练过程,首先是工具的代码,其中包括了数据集的处理,和bert模型的引入,后面补充加了一个全连接层进行训练。bert理论(待补充)原创 2024-05-23 10:06:57 · 268 阅读 · 0 评论 -
萱仔大模型学习记录2-BERT算法论文和实践
我们介绍了一种新的语言表示模型,名为BERT,全称是双向编码器表示的Transformer。与最近的语言表示模型(如Peters等人,2018;Radford等人,2018)不同,BERT被设计为从无标签文本中预训练深度双向表示,它通过在所有层中同时考虑左右上下文来实现这一点。因此,预训练后的BERT模型只需在其基础上添加一个额外的输出层,就可以针对各种任务(如问答和语言推理)创建最先进的模型,而无需进行大幅度的任务特定架构修改。BERT在概念上简单但在实验中却非常强大。原创 2024-07-25 10:42:33 · 723 阅读 · 0 评论 -
萱仔大模型学习记录1-了解常用大模型
大语言模型(LLM)常常具有数十亿到数千亿个参数,能够做nlp任务。常用的大语言模型包括 GPT、BERT 和 T5和 LLaMA 等。原创 2024-07-24 11:29:06 · 710 阅读 · 0 评论