<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[m0_60916732的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/m0_60916732</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; m0_60916732]]></copyright><item><title><![CDATA[DeepSeek模型架构及优化内容]]></title><link>https://blog.csdn.net/m0_60916732/article/details/145579828</link><guid>https://blog.csdn.net/m0_60916732/article/details/145579828</guid><author>m0_60916732</author><pubDate>Tue, 11 Feb 2025 21:12:53 +0800</pubDate><description><![CDATA[用SFT模型初始化参考模型（防止模型训歪），和Action模型（最后需要的模型，用于生成符合人类预期内容的模型），用RM模型初始化奖励模型（当前状态下做出动作后的奖励）和Critic模型（做出当前动作后下一步可能获得的奖励），并切在奖励中增加优势，包含当前优势和下一步优势（中路走野区支援上路，原本可以收割一个人头，但实际收割了两个，多出的人头就是优势）知识冗余（Knowledge Redundancy）：不同的专家在处理不同的输⼊时可能需要相同的知识， 导致多个专家中存在重复的知识，浪费了模型参数。]]></description><category></category></item><item><title><![CDATA[LangChain使用总结]]></title><link>https://blog.csdn.net/m0_60916732/article/details/145165622</link><guid>https://blog.csdn.net/m0_60916732/article/details/145165622</guid><author>m0_60916732</author><pubDate>Wed, 15 Jan 2025 18:19:22 +0800</pubDate><description><![CDATA[LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度,方便开发者快速地开发复杂的LLMs应用.]]></description><category></category></item><item><title><![CDATA[大模型微调介绍-Prompt-Tuning]]></title><link>https://blog.csdn.net/m0_60916732/article/details/145165538</link><guid>https://blog.csdn.net/m0_60916732/article/details/145165538</guid><author>m0_60916732</author><pubDate>Wed, 15 Jan 2025 18:09:30 +0800</pubDate><description><![CDATA[基于Fine-Tuning的方法是让预训练模型去迁就下游任务，而基于Prompt-Tuning的方法可以让下游任务去迁就预训练模型, 其目的是将Fine-tuning的下游任务目标转换为Pre-training的任务.Prompt Tuning 是2021年谷歌在论文《The Power of Scale for Parameter-Efficient Prompt Tuning》中提出的微调方法，该方法基于T5模型(最大参数11B)]]></description><category></category></item><item><title><![CDATA[BiLSTM+CRF实现NLP中的NER任务]]></title><link>https://blog.csdn.net/m0_60916732/article/details/144753120</link><guid>https://blog.csdn.net/m0_60916732/article/details/144753120</guid><author>m0_60916732</author><pubDate>Thu, 26 Dec 2024 21:10:26 +0800</pubDate><description><![CDATA[BiLSTM+CRF: 解决NER问题 实现方式: 从一段自然语言文本中找出相关实体，并标注出其位置以及类型。命名实体识别问题实际上是序列标注问题: 以中文分词任务进行举例, 例如输入序列是一串文字: “我是中国人”, 输出序列是一串标签: “OOBII”, 其中"BIO"组成了一种中文分词的标签体系: B表示这个字是词的开始, I表示词的中间到结尾, O表示其他类型词. 因此我们可以根据输出序列"OOBII"进行解码, 得到分词结果"我\是\中国人"。]]></description><category></category></item><item><title><![CDATA[TransFormer介绍及框架搭建总结]]></title><link>https://blog.csdn.net/m0_60916732/article/details/144247615</link><guid>https://blog.csdn.net/m0_60916732/article/details/144247615</guid><author>m0_60916732</author><pubDate>Wed, 04 Dec 2024 19:35:25 +0800</pubDate><description><![CDATA[随机将位置信息和词嵌入信息置为0掩码是遮盖权重矩阵:RNN逐时间步计算不可以并行操作, Transformer, 将词嵌入后的张量信息进行掩码操作, 方便并行操作. 一次将所有的词嵌入张量输入, 通过掩码的方式遮盖未来时间步的信息, 方便在解码器的第一个子层结构中并行在解码器第一个子层中使用forward_mask 或 subsquent_mask后续掩码在解码器第二个子层中使用padding_mask填充, 保持max_len。]]></description><category></category></item><item><title><![CDATA[深度学习中注意力机制介绍及seq2seq案例]]></title><link>https://blog.csdn.net/m0_60916732/article/details/144247481</link><guid>https://blog.csdn.net/m0_60916732/article/details/144247481</guid><author>m0_60916732</author><pubDate>Wed, 04 Dec 2024 19:12:34 +0800</pubDate><description><![CDATA[它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时(来源相同并不是值相等), 称作自注意力计算规则；当Q、K、V不相等时称为一般注意力计算规则注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.]]></description><category></category></item><item><title><![CDATA[循环神经网络及其变体:RNN, LSTM, GRU]]></title><link>https://blog.csdn.net/m0_60916732/article/details/144094480</link><guid>https://blog.csdn.net/m0_60916732/article/details/144094480</guid><author>m0_60916732</author><pubDate>Wed, 27 Nov 2024 21:07:30 +0800</pubDate><description><![CDATA[根据反向传播算法和链式法则, 梯度的计算可以简化为以下公式其中sigmoid的导数值域是固定的, 在[0, 0.25]之间, 而一旦公式中的w也小于1, 那么通过这样的公式连乘后, 最终的梯度就会变得非常非常小, 这种现象称作梯度消失. 反之, 如果我们人为的增大w的值, 使其大于1, 那么连乘够就可能造成梯度过大, 称作梯度爆炸.梯度消失或爆炸的危害:如果在训练过程中发生了梯度消失，权重无法被更新，最终导致训练失败;]]></description><category></category></item><item><title><![CDATA[自然语言处理基础之文本预处理]]></title><link>https://blog.csdn.net/m0_60916732/article/details/144094334</link><guid>https://blog.csdn.net/m0_60916732/article/details/144094334</guid><author>m0_60916732</author><pubDate>Wed, 27 Nov 2024 21:00:33 +0800</pubDate><description><![CDATA[将一段文本使用张量进行表示，其中一般将词汇表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示.["人生", "该", "如何", "起头"] 一个词就是一个tocken==># 每个词对应矩阵中的一个向量, 整个张量表示为词表[[1.32, 4,32, 0,32, 5.2],	# 一行就是一个词向量word2vec是一种流行的将词汇表示成向量的无监督训练方法, 该过程将构建神经网络模型, 将网络参数作为词汇的向量表示, 它包含CBOW和skipgram两种训练模式.]]></description><category></category></item><item><title><![CDATA[Flask服务封装+Docker服务部署]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143922506</link><guid>https://blog.csdn.net/m0_60916732/article/details/143922506</guid><author>m0_60916732</author><pubDate>Wed, 20 Nov 2024 18:43:11 +0800</pubDate><description><![CDATA[Flask总结Faslk是一个Web框架, 可以用于提供服务。]]></description><category></category></item><item><title><![CDATA[深度学习-循环神经网络RNN]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143922313</link><guid>https://blog.csdn.net/m0_60916732/article/details/143922313</guid><author>m0_60916732</author><pubDate>Wed, 20 Nov 2024 18:42:14 +0800</pubDate><description><![CDATA[文本数据是具有序列特性的例如: "我爱你", 这串文本就是具有序列关系的，"爱" 需要在 "我" 之后，"你" 需要在 "爱" 之后, 如果颠倒了顺序，那么可能就会表达不同的意思。为了表示出数据的序列关系，需要使用循环神经网络(Recurrent Nearal Networks, RNN) 来对数据进行建模，RNN 是一个作用于处理带有序列特点的样本数据。]]></description><category></category></item><item><title><![CDATA[深度学习-卷积神经网络CNN]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143775094</link><guid>https://blog.csdn.net/m0_60916732/article/details/143775094</guid><author>m0_60916732</author><pubDate>Thu, 14 Nov 2024 16:46:11 +0800</pubDate><description><![CDATA[CIFAR-10数据集5万张训练图像、1万张测试图像、10个类别、每个类别有6k个图像，图像大小32×32×3。]]></description><category></category></item><item><title><![CDATA[深度学习-神经网络基础-网络搭建-损失函数-网络优化-正则化方法]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143665032</link><guid>https://blog.csdn.net/m0_60916732/article/details/143665032</guid><author>m0_60916732</author><pubDate>Sun, 10 Nov 2024 19:40:28 +0800</pubDate><description><![CDATA[init方法中定义网络中的层结构，主要是全连接层，并进行初始化,定义层forward方法，在实例化模型的时候，底层会自动调用该函数。该函数中可以定义学习率，为初始化定义的layer传入数据等。将各层连接定义继承自nn.Module的模型类在init方法中定义网络中的层结构在forward方法中定义数据传输方式前向传播：指的是数据输入的神经网络中，逐层向前传输，一直到运算到输出层为止。反向传播（利用损失函数 ERROR，从后往前，结合梯度下降算法，依次求各个参数的偏导，并进行参数更新。]]></description><category></category></item><item><title><![CDATA[深度学习-神经网络基础-激活函数与参数初始化(weight, bias)]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143651164</link><guid>https://blog.csdn.net/m0_60916732/article/details/143651164</guid><author>m0_60916732</author><pubDate>Sat, 09 Nov 2024 21:06:16 +0800</pubDate><description><![CDATA[人工神经网络是一种模仿生物神经网络结构和功能的计算模型, 由神经元构成将神经元串联起来 -> 神经网络输入层: 数据输出层: 目标(加权和)隐藏层: 加权和 + 激活。]]></description><category></category></item><item><title><![CDATA[深度学习-张量相关]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143651083</link><guid>https://blog.csdn.net/m0_60916732/article/details/143651083</guid><author>m0_60916732</author><pubDate>Sat, 09 Nov 2024 20:59:54 +0800</pubDate><description><![CDATA[torch.tensor() 根据指定数据创建张量torch.Tensor() 根据形状创建张量, 其也可用来创建指定数据的张量torch.IntTensor()、torch.FloatTensor()、torch.DoubleTensor() 创建指定类型的张量add、sub、mul、div、neg等函数add、sub、mul、div、neg_等函数reshape 函数可以在保证张量数据不变的前提下改变数据的维度squeeze 和 unsqueeze 函数可以用来增加或者减少维度。]]></description><category></category></item><item><title><![CDATA[深度学习介绍]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143579455</link><guid>https://blog.csdn.net/m0_60916732/article/details/143579455</guid><author>m0_60916732</author><pubDate>Wed, 06 Nov 2024 20:42:19 +0800</pubDate><description><![CDATA[所有深度学习都是机器学习，但并非所有机器学习都是深度学习。深度学习的崛起源于其在处理特定类型的大数据问题上的卓越能力，尤其是那些传统机器学习算法难以处理的复杂问题。然而，对于某些任务和数据集，更简单的机器学习方法可能更加有效和适合。这种技术使用被称为“神经网络”的算法结构，这些结构灵感来源于人脑的神经元网络。深度学习中的“深度”指的是神经网络中层的数量，这些层是进行数据处理和学习的核心单元。在深度学习的过程中，每一层神经网络都对输入数据进行处理，从而学习到数据中的特征和模式。]]></description><category></category></item><item><title><![CDATA[深度学习-pytorch安装与基本使用]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143579309</link><guid>https://blog.csdn.net/m0_60916732/article/details/143579309</guid><author>m0_60916732</author><pubDate>Wed, 06 Nov 2024 20:39:02 +0800</pubDate><description><![CDATA[张量，英文为Tensor，是机器学习的基本构建模块，是以数字方式表示数据的形式。例如，图像可以表示为形状为的张量，这意味着，因为图像具有3颜色通道（红色、绿色、蓝色），高度为224像素，宽度为224像素。在张量语言（用于描述张量的语言）中，张量将具有三个维度，一个维度表示height和width。]]></description><category></category></item><item><title><![CDATA[项目管理工具-git简介与使用]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143372715</link><guid>https://blog.csdn.net/m0_60916732/article/details/143372715</guid><author>m0_60916732</author><pubDate>Wed, 30 Oct 2024 19:28:30 +0800</pubDate><description><![CDATA[版本控制软件是一个用来记录文件变化， 以便将来查阅特定 版本修订情况的系统，因此有时也叫做“版本控制系统”。通俗的理解: 把手工管理文件版本的方式，改为由软件管理文件的版本；这个负责管理文件版本的软件，叫做“版本控制软件”。SVNGit: 分布式版本管理Git 是一个开源的分布式版本控制系统。目前世界上最先进 、最流行的版本控制系统可以快速高效地处理 从很小到非常大的项目版本管理。特点：项目越大越复杂，协同开发者越多，越能体现出 Git 的高性能和高可用性！]]></description><category></category></item><item><title><![CDATA[机器学习篇-支持向量机SVM]]></title><link>https://blog.csdn.net/m0_60916732/article/details/143006521</link><guid>https://blog.csdn.net/m0_60916732/article/details/143006521</guid><author>m0_60916732</author><pubDate>Thu, 17 Oct 2024 12:11:36 +0800</pubDate><description><![CDATA[1、下列关于SVM的描述错误的是？（单选题）A）它的全称为支撑向量机（SupportedVector Machine）B）它的主要任务是找到一个超平面将不同的样本划分开来C）硬间隔和软间隔都是SVM分割超平面中的一种D）SVM模型可以通过调小C参数的取值，来减少间隔违例答案解析： C值越小，间隔违例越多答案：D。]]></description><category></category></item><item><title><![CDATA[机器学习篇-聚类Kmeans算法]]></title><link>https://blog.csdn.net/m0_60916732/article/details/142962471</link><guid>https://blog.csdn.net/m0_60916732/article/details/142962471</guid><author>m0_60916732</author><pubDate>Tue, 15 Oct 2024 20:30:54 +0800</pubDate><description><![CDATA[无监督学习算法，主要用于将相似的样本自动归到一个类别中；计算样本和样本之间的相似性，一般使用欧式距离误差平方和SSE (The sum of squares due to error)SSE 越小，表示数据点越接近它们的中心，聚类效果越好# @FileName : 03-顾客数据分析.pyimport os​os.environ["OMP_NUM_THREADS"] = '1'  # 解决内存泄露警告​​。]]></description><category></category></item><item><title><![CDATA[机器学习篇-朴素贝叶斯和特征降维]]></title><link>https://blog.csdn.net/m0_60916732/article/details/142926944</link><guid>https://blog.csdn.net/m0_60916732/article/details/142926944</guid><author>m0_60916732</author><pubDate>Mon, 14 Oct 2024 19:49:25 +0800</pubDate><description><![CDATA[import jieba  # 用来做分词from sklearn.naive_bayes import MultinomialNB  # 贝叶斯模型from sklearn.feature_extraction.text import CountVectorizer  # 词频统计​​​# 数据获取data = pd.read_csv('data/书籍评价.csv', encoding='gbk')​# 数据基本处理# 处理标签      好评 1  差评 0。]]></description><category></category></item></channel></rss>