jianqimingtian的博客

掌握Python、PyTorch和Transformers：从基础到高级AI项目课程亮点：掌握Python和核心库学习Python基础知识（语法、数据结构、OOP）。项目2:RAG（检索-增强生成）代理与DeepSeek集成检索模型+转换器，以创建使用外部知识回答问题的AI代理。从论文到实践：完全按照开创性论文中的描述实施Transformer架构。投资组合提升：向雇主展示您的RAG代理和Transformer项目。你会离开：流畅的Python,PyTorch和变压器理论。掌握深度学习、CNN和注意力。

嵌入是文本的矢量化表示。因此，我们将文本拆分为多行，以便我们可以使用它们为我们的模型生成文本嵌入。由于这是文本生成的一个用例，我们将创建一个双向 LSTM 模型，因为意义在这里起着重要作用。在对话式 AI 中旨在完成的主要任务之一是自然语言生成 （NLG），它指的是使用模型来生成自然语言。在最后一步中，我们将使用我们的模型生成诗歌。如前所述，该模型基于下一个单词预测方法，因此，我们需要为模型提供一些种子文本。该模型将采用基于下一个单词预测的方法，其中我们将输入种子文本，模型将通过预测后续单词来生成诗歌。

现在，如果预测分散在各处，那么这就是高方差的符号，如果预测离目标很远，那就是高偏差的符号。Ridge 回归和套索回归之间的区别在于，与Ridge相比，它倾向于将系数设置为绝对零，而 Ridge 从不将系数值设置为绝对零。约束的值时，会导致系数的值趋于零。这导致需要权衡较高的偏差（对某些系数的依赖性往往为 0，而对某些系数的依赖性往往非常大，从而使模型不太灵活）以获得较低的方差。岭回归降低了模型的复杂性，但不会减少变量的数量，因为它永远不会导致系数为零，而只是将其最小化。，它将为系数添加约束。

被定义为数据的图形表示，使用颜色来可视化矩阵的值。在这种情况下，为了表示更常见的值或更高的活动，通常使用较亮的颜色，而为了表示不太常见的活动值，首选较暗的颜色。值设置为 70，则只会显示值介于 30 和 70 之间的单元格。锚定颜色图的值，否则它们将从数据和其他关键字参数中推断出来。除 data 之外的所有参数都是可选的。参数更改分隔单元格的线条的粗细和颜色。我们将在所有示例中使用相同的数据。绘制发散数据时颜色图居中的值。将划分每个单元格的线条的颜色。将划分每个单元格的线的宽度。从数据值到色彩空间的映射。

由于其三层架构，它们可以有效地仿真复杂的非线互，该架构由输入层、具有径向基函数的隐藏层和线性输出层组成。RBF Networks 以其独特的三层架构和通用逼近功能而闻名，在分类和回归问题中提供更快的学习速度和高效的性能。网络具有许多优势，包括设计和实现的简单性、对非线性连接进行建模的灵活性以及使用较少数据进行训练的效率。一种流行的方法是通过使用隐藏层输出矩阵的伪逆求解权重来最小化预期输出和实际目标值之间的误差。网络的概念可以应用于更深的设计，即使它们通常是具有单个隐藏层的浅层网络。聚类来完成中心的选择。

较小的 Gamma 值将导致决策边界的曲线更宽，而较大的 Gamma 值将导致曲线更窄，并且更侧重于单个数据点。然后，它根据 C 和 gamma 的不同值绘制模型的准确度，以显示参数如何影响结果。需要注意的是，选择正确的参数组合是使用 RBF 内核构建准确而强大的 SVM 模型的关键步骤。总体而言，SVM 中的内核函数是一个强大的工具，它允许 SVM 对复杂的数据分布进行分类并实现较高的分类准确性。：如有必要，请重复：如果模型的性能不令人满意，请使用不同的超参数值重复优化过程，直到获得所需的性能级别。

支持向量回归 （SVR） 是 SVM 中的一种监督学习技术，旨在在高维特征空间中找到最适合训练数据的超平面，并最大限度地减少回归任务的预测误差。SVR 是一种用于预测连续值的技术。在使用 SVR 进行时间序列预测时，它被视为回归任务。时间序列预测是数据分析的一个关键方面，其应用范围从金融市场到天气预报。近年来，支持向量回归 （SVR） 因其处理非线性关系和高维数据的能力而成为一种强大的时间序列预测工具。回归旨在根据一个或多个输入特征预测连续目标变量。

这门综合课程将指导您了解使用 Python、PyTorch 和 TensorFlow（用于构建智能模型的最强大库和框架）进行深度学习的基础知识。模块 2：使用 Python 和 NumPy 的深度神经网络 （DNN）使用 Python 和 NumPy 进行编程：了解数组、数据帧和数据预处理技术。使用 NumPy 从头开始构建 DNN.实施机器学习算法，包括梯度下降、逻辑回归、前馈和反向传播.模块 3：使用 PyTorch 进行深度学习了解张量及其在深度学习中的重要性。• 不需要深度学习或数学的先验知识。

我们将学习如何使用 Python 开发机器学习模型 ，该模型可以根据一些生物测量来预测一个人在锻炼期间燃烧的卡路里数量。

如果您最近去过一家餐厅吃家庭聚餐或午餐，并且您因为服务员的慷慨行为而给他小费，那么这个项目可能会让您兴奋。与本文一样，我们将尝试使用与此相关的一些功能，根据一个人对餐厅的访问来预测他/她会给多少小费。Python 库使我们能够非常轻松地处理数据并使用一行代码执行典型和复杂的任务。让我们从导入一些库开始，这些库将用于各种目的，这将在本文后面解释。

它是迄今为止神经网络中最常用的激活函数。对 sigmoid 函数的需求源于这样一个事实，即许多学习算法要求激活函数是可微的，因此是连续的。通过改变 k 的值，可以获得不同斜率的 sigmoid 函数。它的范围是 （0,1）。生物神经网络以人工神经网络的形式建模，其中人工神经元模拟生物神经元的功能。但是，最常采用的是 （-1，+1） 的范围。它是一种广泛采用的特殊类型的神经网络的激活函数，称为反向。当 k 的值变得非常大时，sigmoid 函数将变为阈值函数。阈值函数几乎与阶跃函数类似，唯一的区别是。

它相对于步长和线性函数的最大优点是它是非线性的。这基本上意味着，当我有多个神经元以 sigmoid 功能作为它们的激活函数时，输出也是非线性的。与其他激活函数相比，使用 ReLU 函数的主要优点是它不会同时激活所有神经元。如果你看一下 ReLU 函数，如果输入为负数，它会将其转换为 0，并且神经元不会被激活。当 x 小于 0 时，我们没有将 ReLU 函数定义为 0，而是将其定义为 x 的一个小线性分量。在这种情况下，我们考虑一个阈值，如果 y 的净输入值 大于阈值，则神经元被激活。

层的输入由从早期层处理的数据派生的特征或表示组成。网络的结构负责处理和转换输入数据。通过这些层的信息流是连续的，每个层都从前面的层获取输入，并将其转换后的输出传递给后续层。为了加速递归和多层感知器神经网络的训练并降低对网络初始化的敏感性，请在可学习层之后加入层归一化层，例如。在将输入数据转换为有意义且有洞察力的输出的过程中，神经网络中的每一层都发挥着独特的作用。层，专门用于捕获和学习时间序列和顺序数据中不同时间步之间的长期依赖关系。序列输入层接收神经网络的序列数据，并在输入过程中合并数据的归一化。

计算将从头开始，并根据下面给出的规则进行，其中 W1、W2 和 b1、b2 分别是第一层和第二层的权重和偏差。请记住，dZ、dW、db 是 Cost 函数与层的加权和、权重和偏差的导数。在这里，隐藏单元的数量是四个，因此，W1 权重矩阵的形状为 （4， 特征数），偏置矩阵的形状为 （4， 1），广播后将根据上述公式加起来为权重矩阵。深度学习是一个由掌握基础知识的人夺取宝座的世界，因此，请尝试将基础知识开发得如此强大，以便之后，您可能会成为新模型架构的开发人员，这可能会彻底改变社区。您将得到类似的输出。

在本文中，我们将使用 TensorFlow 库了解多层感知器的概念及其在 Python 中的实现。

相比之下，人工神经网络是更简单的系统，旨在执行特定任务，它们的连接通常是固定的，网络架构由设计人员确定。然而，在 ANN 中，神经元之间的连接通常是固定的，连接的强度由一组权重决定，而在 BNN 中，神经元之间的连接更加灵活，连接的强度可以受到多种因素的改变，包括学习和经验。在 BNN 和 ANN 中，神经通路是神经元之间的连接，允许信息在整个网络中传输。然而，在 BNN 中，神经通路高度复杂和多样化，神经元之间的连接可以通过经验和学习来改变。在 ANN 中，神经通路通常更简单，并且由网络架构预先确定。