心动雨崽-CSDN博客

原创 Diffusion 扩散模型（DDPM）

扩散模型（Diffusion Models）是一类基于概率和马尔科夫链的生成模型，通过逐步添加和去除噪声实现数据生成。以下是扩散模型的主要特点、工作原理、优势和应用领域的总结。

2024-06-17 21:02:00 1267

双向RNN，即可以从过去的时间点获取记忆，又可以从未来的时间点获取信息：传统的单向 RNN 只能利用先前的上下文信息，而 BiRNN 同时利用了输入序列的前后文信息。在很多任务中，如自然语言处理中的命名实体识别、机器翻译等，理解一个词的前后文语境至关重要。例如：判断句子中Teddy是否是人名，如果只从前面两个词是无法得知Teddy是否是人名，如果能有后面的信息就很好判断了，这就需要用的双向循环神经网络。：在处理某些序列数据时，单向 RNN 可能无法充分捕捉整个序列中的重要信息，导致性能欠佳。

2024-05-15 21:27:30 797 1

原创 IMDB的电影评论数据pytorh使用lstm

在自然语言处理（NLP）中，词嵌入层是将单词或词汇映射到连续的向量表示的关键组件，这些向量表示能够捕捉单词的语义信息和上下文关系。：词嵌入层包含一个权重矩阵，其行数等于词汇表的大小，列数等于嵌入的维度（例如，300或100）。：当输入数据（如文本序列中的单词索引）传递到词嵌入层时，层通过查找权重矩阵中与输入索引对应的行来获取每个单词的嵌入向量。：词嵌入层的输出是一个矩阵，其中每行是一个单词的嵌入向量，列数与嵌入维度相同。：嵌入向量能够捕捉单词的语义信息，相似的单词在向量空间中距离较近。

2024-05-13 22:08:32 1111 2

原创残差神经网络

原论文：https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf。

2024-05-08 21:59:51 1500 1

原创强化学习玩flappy_bird

游戏地址：https://flappybird.io/该游戏的规则是：点击屏幕则小鸟立即获得向上速度。不点击屏幕则小鸟受重力加速度影响逐渐掉落。小鸟碰到地面会死亡，碰到水管会死亡。（碰到天花板不会死亡）小鸟通过水管会得分。

2024-05-06 21:28:57 859

原创 ST-GCN模型详解（+openpose）

ST-GCN应当具备能够从时空维度提取特征的能力，其在GCN中的表现就是能够同时聚合时空维度的信息，如下图所示。其具体网络层如图所示：步骤1：引入一个可学习的权重矩阵（与邻接矩阵等大小）与邻接矩阵按位相乘。该权重矩阵叫做“Learnable edge importance weight”，用来赋予邻接矩阵中重要边（节点）较大的权重且抑制非重要边（节点）的权重。步骤2：将加权后的邻接矩阵与输入送至GCN中进行运算。

2024-04-18 22:19:51 3018 1

原创强化学习-----DQN（Deep Q-network）

DQN（Deep Q-Network）是一种基于深度学习和强化学习的算法，由DeepMind提出，用于解决离散动作空间下的马尔科夫决策过程（MDP）问题。它是首个成功将深度学习应用于解决强化学习任务的算法之一。DQN，即深度Q网络（Deep Q-network），是指基于深度学习的Q-Learing算法。那什么是Q-leaning？可以看上一篇文章Q-learning是一种经典的强化学习算法，用于解决马尔可夫决策过程（Markov Decision Process，MDP）中的控制问题。

2024-04-07 17:37:45 2050

原创强化学习——Q-Leaning算法原理

是用在决策上的一个策略，以概率ε选择随机动作，以概率1-ε选择当前最优动作，比如epsilon = 0.9的时候，就说明百分之90的情况我会按照Q表的最优值选择行为，百分之10的时间随机选择行为。alpha：学习率，决定这次的误差有多少是要被学习的。学习率控制着每次更新Q值时所采用的步长。较大的学习率会导致Q值函数的快速更新，可能会使算法更快地收敛，但也可能导致不稳定性和震荡。如果学习率过大，会导致Q值函数不稳定，可能会导致算法无法收敛或者在局部最优解处震荡。

2024-03-18 21:53:43 3297 6

原创 Transformer模型详解

RNN系列的模型，并行计算能力很差。RNN并行计算的问题就出在这里，因为 T 时刻的计算依赖 T-1 时刻的隐层计算结果，而 T-1 时刻的计算依赖 T-2 时刻的隐层计算结果，如此下去就形成了所谓的序列依赖关系。Transformer的特征抽取能力比RNN系列的模型要好。放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较。

2024-02-22 17:30:34 2321 2

原创自注意力机制（Self-Attention Mechanism）

先让我们来了解什么是注意力机制，当我们看到一张图画时，第一眼肯定会注意到图片中最显眼的特征，**深度学习中的注意力机制（Attention Mechanism）**是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。例如下图：我们大部分人第一眼注意到的一定是东方明珠，但是这图其实还有旁边的楼，下面的汽车等等。这其实就是一种。

2024-02-22 15:32:22 2763 1

原创生成对抗网络---GAN

生成式对抗网络（）是一种深度学习模型，014年lan Goodfellow的开篇之作，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D。GAN在各种领域都有广泛的应用，包括等。

2024-01-03 22:19:28 3153 2

原创图卷积神经网络-GCN

例如：城市交通的每个路口上的传感器所记录的数据；化学分子结构；人际关系网；推荐系统中每个人构成的图等。并不是说以上的神经网络处理不了图这种类型的数据，只是在处理图这种数据上存在欠缺，图数据有一个很明显的特征，相邻或相近的节点存在一定的空间依赖关系，这种关系传统神经网络很难捕获，为此，图神经网络应运而出。一次聚合更新操作代表GCN的一层。层数是节点特征可以行进的最远距离。例如，使用 1 层 GCN，每个节点只能从其邻居那里获取信息。收集信息过程独立进行，所有节点同时进行。

2023-12-18 21:36:23 1966 1

原创 LSTM（长短期记忆神经网络）

首先解释一下，经过这个sigmod激活函数后，得到的都是在0到1之间的数值，1表示该门完全打开，0表示该门完全关闭，其中是最为普通的输入，可以从上图中看到，是通过该时刻的输入和上一时刻存在memory cell里的隐藏层信息向量拼接，再与权重参数向量点积，得到的值经过激活函数tanh最终会得到一个数值，也就是，注意只有的激活函数是tanh，因为是真正作为输入的，其他三个都是门控装置。再来看，input gate的缩写i，所以也就是输入门的门控装置，同样也是通过该时刻的输入。

2023-12-08 22:00:21 18397 1

原创循环神经网络（RNN）

循环神经网络（Recurrent Neural Network，RNN）是一种深度学习模型，专门设计用于处理序列数据，RNN对具有序列特性的数据非常有效，它能挖掘数据中的时序信息以及语义信息，例如时间序列、自然语言文本等。RNN 具有一种记忆功能，可以在处理序列数据时考虑先前的信息。那么什么又是序列特性呢？序列特性指的是数据按照一定的顺序排列，并且相邻元素之间存在关联或依赖关系。序列数据在时间序列、自然语言文本、DNA序列等领域中非常常见，具有动态演变的性质。股票价格、气温、销售额等数据都是时间序列数据。

2023-12-08 21:32:49 328

原创神经网络训练中回调函数的使用

通过使用回调函数，可以在模型训练过程中实现更多的灵活性和自定义功能。例如，可以根据验证集的损失来选择最佳的模型参数，或者在训练过程中动态调整学习率以提高模型的收敛速度和性能。回调函数使得训练过程更加可控和高效，并提供了一种灵活的方式来处理各种训练中的需求和场景。但是编写自定义回调是Keras包含的最好的特性之一，它允许执行高度特定的操作。但是，请注意，构造它比使用默认回调要复杂得多。我们的自定义回调将采用类的形式。

2023-12-04 17:03:07 461

原创 CNN经典模型(3)--VGG16

VGG16是一种深度卷积神经网络模型，用于图像分类和识别任务。它是由牛津大学的研究团队开发的，命名为Visual Geometry Group（VGG），并在2014年的ImageNet图像识别挑战中取得了很好的成绩。VGG16模型具有13个卷积层和3个全连接层，总共有约138百万个可训练参数。该模型的核心思想是通过堆叠多个小尺寸的卷积核和池化层来增加网络的深度，从而提高图像特征的表示能力。它采用了相对较小的3x3卷积核和2x2最大池化核，每个卷积层后都使用了ReLU激活函数。

2023-11-27 22:10:24 2236 2

原创 CNN经典模型(2)---AlexNet

AlexNet 是一种经典的卷积神经网络（Convolutional Neural Network，CNN），由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 在 2012 年提出。它在 ImageNet 图像识别挑战赛中取得了显著的突破，并成为了深度学习的重要里程碑之一。AlexNet 主要用于图像分类任务，特别是在大规模图像数据集上的分类任务。AlexNet 的架构和设计思想也被广泛应用于其他计算机视觉任务，例如目标检测、语义分割和人脸识别等。

2023-11-20 22:02:13 99 1

原创 CNN经典模型(1)---letnet

LeNet是一种经典的卷积神经网络架构，于1998年由Yann LeCun等人提出，被广泛应用于手写数字识别任务。它是深度学习中的里程碑之一，为后来的卷积神经网络的发展奠定了基础。LeNet的设计灵感来自于人类视觉系统的结构。它由一系列的卷积层、池化层和全连接层组成，用于从输入图像中提取特征并进行分类。其中最为典型的就是。

2023-11-20 11:05:37 568 1

原创求质数（素数）算法及其优化

（Prime number），又称，指在大于的中，除了1和该数自身外，无法被其他自然数的数（也可定义为只有1与该数本身两个正因数的数）。大于1的自然数若不是素数，则称之为（也称为合成数）。例如，是个素数，因为其正约数只有1与5。7是个素数，因为其正约数只有1与7。而4则是个合数，因为除了1与4外，2也是其正约数。6也是个合数，因为除了1与6外，2与3也是其正约数。确立了素数于里的核心地位：任何大于1的均可被表示成一串唯一素数之乘积。为了确保该定理的唯一性，1被定义为不是素数，因为在。

2023-11-15 20:33:02 1059

原创卷积神经网络（CNN）

卷积神经网络（Convolutional Neural Networks，简称CNN）是一种具有局部连接、权值共享等特点的深层前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题，比如图像分类、目标检测、图像分割等各种视觉任务中都有显著的提升效果，是目前应用最广泛的模型之一。卷积神经网络具有表征学习。

2023-11-12 19:45:29 543 1

原创简述支持向量机模型

支持向量机（Support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，他的学习策略就是间隔最大化，同时该方法可以形式化为一个求解图二次规划。

2023-11-04 19:14:03 457 1

原创 linux运维手册

前面说了修改了目录文件的写权限，就可以删除目录下的文件，那么这里就有个问题，就是我自己写的文件，给别的用户开了权限后，别的用户就可以删除这个文件了，但是这是不好的，所以这里Linux引入了粘滞位的概念。(文件拥有者也可以改，但是拥有者把拥有者改了，感觉很怪，结果还是要提高权限)5、编辑 /etc/profile 文件，使用快捷键到底文档的最末行[G]和最首行[gg],注意这些都是在正常模式下执行的。使用比较简单，除了这种方法还有一个方式，这里可以把有权限当做1，没权限为0，那么三个二进制就是一个8进制。

2023-06-20 11:54:16 68 1

qq_74722169的博客