![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP简论:手搓大语言模型实践
文章平均质量分 63
eric-sjq
小思框架创始人,擅长深度学习和大数据挖掘与处理。主要研究自然语言处理技术以及机器视觉。
展开
-
补充:关于GRU的详细运作原理以及特殊的优化思路
在GRU中引入一个内部的循环机制,这个机制可以进一步处理候选隐藏状态,以便更好地控制信息流。这种内部循环可以用来模拟更复杂的逻辑处理过程,类似于大脑中的多层次处理。原创 2024-08-05 13:12:23 · 816 阅读 · 0 评论 -
【基础模型】开始构建我们自己的大语言模型3:训练我们的模型(内附免费完整训练资源)
在本篇博文中,我们介绍了如何设置训练循环来训练一个语言模型,包括监控训练进度、保存模型检查点、以及进行中间测试。这些步骤对于训练任何深度学习模型都是非常重要的,希望这篇博文能帮助你更好地理解和实践模型训练的过程。原创 2024-08-03 15:59:37 · 877 阅读 · 0 评论 -
【基础模型】开始构建我们自己的大语言模型2:模型构建部分
首先,我们需要一个函数来定义并构建我们的模型。这个函数将接收多个参数,如词汇表大小(vocab_size)、嵌入维度()、RNN单元数(rnn_units)、批量大小(batch_size)以及模型版本(mt)和窗口大小(window,目前他没用但以后我们优化模型的时候会用到)。这是GRU的简单流程图:fill:#333;color:#333;color:#333;fill:none;输入层: 接收当前时间步的输入数据重置门: 即sigmoid函数 决定新输入与旧记忆的结合。原创 2024-07-26 15:45:44 · 537 阅读 · 0 评论 -
开始构建我们自己的大语言模型:数据处理部分
接上集,本章我们将深入说一下大语言模型数据处理部分的细节,并直接提供本部分的完整代码以及免费公开的的配套资源。原创 2024-07-18 22:08:04 · 1465 阅读 · 0 评论 -
将独热码应用到神经网络中
接上回,本文继续说如何用TensorFlow将独热编码应用到一个简单的神经网络中,以实现从一段随机文本到另一段随机文本的转换。原创 2024-07-12 23:13:44 · 563 阅读 · 0 评论 -
回归主题:语言模型——独热码(One-Hot Encoding)在TensorFlow中的应用
独热编码是一种数据预处理技术,用于将类别型特征转换为数值型特征。它的工作原理是为每一种可能的类别创建一个新列(或特征),当原始类别出现时,对应的新列值为1,其余均为0。原创 2024-07-05 13:43:09 · 882 阅读 · 0 评论 -
认识一个强大的深度学习框架——TensorFlow
其实,TensorFlow就像是一个强大的“工具箱”,它里面装满了各种各样的工具,可以帮助我们更容易地搭建和训练神经网络模型。此外,虽然还有其他一些深度学习框架,比如PyTorch,但我们选择TensorFlow的原因在于它的易用性和稳定性。相信我,通过这一章的学习,你会对TensorFlow有一个初步的了解,并且能够为后续的深入学习打下坚实的基础。其次,TensorFlow有很好的生态系统和社区支持。它有着庞大的用户群体和丰富的资源,这意味着当我们遇到问题时,可以很容易地找到解决方案或者得到他人的帮助。原创 2024-04-26 19:24:19 · 190 阅读 · 0 评论 -
深入探索神经网络的内部工作机制!
相信通过这一章的学习,你对神经网络语言模型的工作原理有了更加深入和直观的理解。以RNN为例,它的核心思想是能够“记住”之前的信息,从而对当前的输入进行更好的处理。RNN也是如此,它会将之前的信息传递给当前的状态,使得模型能够更好地理解文本的上下文关系。它们就像是神经网络语言模型的“骨架”,支撑着整个模型的结构和功能。LSTM通过引入“门”的机制,使得模型能够选择性地保留和遗忘之前的信息,从而解决了RNN的“记忆衰退”问题。通过不断地调整模型的权重参数,使得模型的预测结果越来越接近真实的标签。原创 2024-04-26 19:15:28 · 267 阅读 · 0 评论 -
学习搭配词语的小朋友
我们会一起了解它的基本架构(比如循环神经网络RNN、长短时记忆网络LSTM和Transformer等),探究它是如何训练的,以及它是如何通过不断的学习来提升对自然语言的理解和生成能力的。相信我,通过这一章的学习,你会对神经网络在语言模型中的神奇之处有更加直观和深入的理解。首先,它会从大量的文本数据中“阅读”并学习词汇间的关联性、语法结构以及上下文信息等深层次的语言特征。当面对海量的文本数据时,它并不是像人类那样逐字逐句地理解和记忆,而是通过强大的计算能力和模式识别能力来探寻语言的奥秘。原创 2024-04-26 19:10:24 · 232 阅读 · 0 评论 -
输入法算法与神经网络
比如,你输入“明月”,它可能会联想到“几时”,甚至能继续联想出“明月几时有,把酒问青天”这样的句子。有时候,它可能会写出像“今天晚上吃火锅非常的辣椒真的确”这样的句子,明显不通顺。举个例子,我们常用的手机输入法联想功能,其实就有点类似于语言模型。手机输入法的联想功能一般用的都不是神经网络,而是像贝叶斯算法、隐马尔可夫模型或者决策树这样的传统算法。神经网络,可以说是语言模型的“心脏”,没有它,语言模型就像蒸米饭没有大米一样,难以成型。当然可以,但效果嘛,可以说是天壤之别,基本上都写不出连贯的句子来。原创 2024-04-26 19:08:26 · 229 阅读 · 0 评论 -
让机器写作文?
它们首先会仔细分析你给出的Prompt,然后在它们的大脑(词汇表)里计算每个词出现的可能性。每次,它们都会选出最有可能的那个词,加到回复里。而每一个新生成的词,都是基于之前的内容,所以整个回复在意思上都是连贯和合理的。当你给它们一个Prompt(提示)时,它们会根据自己的“知识库”,预测并选择一个最可能出现的词汇作为下一个词,然后继续预测下一个,直到生成完整的回复。如果你用过文心一言、GPT系列模型、讯飞星火或通义千问等,你会发现它们有一个共同的“秘密”——它们都是逐词、逐字地生成文本的。原创 2024-04-26 19:05:42 · 222 阅读 · 0 评论 -
介绍一下:NLP
传统的讲解通常从简单的分类任务开始,然后逐步深入到复杂的生成任务。通过这种巧妙的方式,让你在轻松愉快的氛围中快速入门NLP,感受语言处理的魅力!像GPT、BERT这样的“语言巨匠”,它们通过海量数据的训练,学会了丰富的语言知识和上下文信息,可以生成更加自然、准确的文本,并在各种NLP任务中大放异彩。想象一下,当你和电脑聊天时,它不再是一个冷冰冰的机器,而是一个能懂你心思的“小伙伴”。NLP就是这么神奇,它让计算机可以分析、理解,甚至生成人类的语言,使得人机交互变得更加自然、高效。原创 2024-04-26 19:02:57 · 708 阅读 · 0 评论