- 博客(5)
- 收藏
- 关注
RSS订阅原创 LLM学习
最后为了平衡以上两种方法， 又提出了基于 subword 进行分词：它可以较好的平衡词表大小与语义表达能力；常见的子词算法有Byte-Pair Encoding (BPE) / Byte-level BPE（BBPE）、Unigram LM、WordPiece、SentencePiece等。缺点：1）无法承载丰富的语义，英文中尤为明显，但中文却是较为合理，中文中用此种方式较多。2）序列长度大幅增长；优点：词表极小，比如：26个英文字母几乎可以组合出所有词，5000多个中文常用字基本也能组合出足够的词汇；
2024-01-01 10:51:43
351
原创 【无标题】
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2024-01-01 10:17:39
929
原创 语雀笔记整理
在谈论评估时，有三个重要因素需要考虑：数据格式、能力类型和模型类型。首先，提示时有四种数据格式：提示的类型：● In-context 指的是在测试问题之前附加一系列上下文示例。● Zero-shot 是指在没有上下文示例的情况下直接将测试问题输入给模型。● Chain-of-thought 是指在回答之前生成推理。● Answer-only 是指没有链式思维，直接给答案。对于模型能力，有两种大致正交的能力类型：● 知识 knowledge：模型是否了解世界。
2023-07-01 12:11:43
456
浙江大学软件学院人工智能专业研一课程作业
2024-07-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人