【so-large-lm】第一章学习打卡

Super Open Large Language Model

主要讨论了语言模型的发展历史和相关概念。语言模型是对序列的概率分布进行建模，可以用于生成文本或进行各种任务。自回归语言模型可以根据给定的提示生成后续的补全文本，温度参数可以控制生成文本的多样性。 信息理论中的熵概念被用来度量概率分布的不确定性，交叉熵用于衡量模型对真实分布的拟合程度。语言模型的目标是通过构建更好的模型来提高对真实分布熵的估计。 n-gram模型是一种常用的语言模型，它基于前n-1个字符来预测下一个字符的概率。n-gram模型可以通过在大量文本上进行训练来拟合数据，并进行平滑处理以避免过拟合。 还提到了大型语言模型的一些问题和挑战，包括虚假信息的生成、安全性问题、法律考虑、成本和环境影响以及获取问题。介绍了语言模型的发展历史和相关概念，包括自回归语言模型和n-gram模型。还讨论了语言模型面临的一些问题和挑战。

收获和心得：

我认识到语言模型的发展已经取得了巨大的进展，但也面临着一些重要的问题和挑战。在应用语言模型时，我们需要考虑到虚假信息的风险，以及安全性和法律方面的问题。此外，大型语言模型的训练和使用也需要考虑成本和环境影响。

reference：

GitHub - datawhalechina/so-large-lm