- 博客(93)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 【pytorch】注意力机制-1
queries和attention_weights的形状为(查询个数，“键－值”对个数)# values的形状为(查询个数，“键－值”对个数)
2025-01-05 16:50:15
1396
原创 【pytorch】现代循环神经网络-2
对于任意时间步t，给定一个小批量的输入数据 Xt ∈ Rn×d （样本数n，每个示例中的输入数d），并且令隐藏层激活函数为ϕ。在双向架构中，我们设该时间步的前向和反向隐状态分别为 →Ht ∈ Rn×h和←Ht ∈ Rn×h，其中h是隐藏单元的数目。**例如，填充缺失的单词、词元注释（例如，用于命名实体识别）以及作为序列处理流水线中的一个步骤对序列进行编码（例如，用于机器翻译）。其主要原因是网络的前向传播需要在双向层中进行前向和后向递归，并且网络的反向传播还依赖于前向传播的结果。
2025-01-03 17:56:24
439
原创 【pytorch】循环神经网络
如果说卷积神经网络可以有效地处理空间信息，那么循环神经网络则可以更好地处理序列信息。循环神经网络通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。
2024-12-30 20:39:22
452
原创 【pytorch】现代卷积神经网络
这些路径的通道数分配和第三模块中的类似，首先是含3×3卷积层的第二条路径输出最多通道，其次是仅含1×1卷积层的第一条路径，之后是含5×5卷积层的第三条路径和含3×3最大汇聚层的第四条路径。中间的两条路径在输入上执行1 × 1卷积，以减少通道数，从而降低模型的复杂性。需要注意的是，第五模块的后面紧跟输出层，该模块同NiN一样使用全局平均汇聚层，将每个通道的高和宽变成1。ResNet的前两层跟之前介绍的GoogLeNet中的一样： 在输出通道数为64、步幅为2的7×7卷积层后，接步幅为2的3×3的最大汇聚层。
2024-12-29 20:07:53
904
原创 【pytorch】卷积神经网络
为了获得多个通道的输出，我们可以为每个输出通道创建一个形状为ci × kh × kw的卷积核张量，这样卷积核的形状是co × ci × kh × kw。当卷积窗口滑动到新一个位置时，包含在该窗口中的部分张量与卷积核张量进行按元素相乘，得到的张量再求和得到一个单一的标量值，由此我们得出了这一位置的输出张量值。与卷积层类似，汇聚层运算符由一个固定形状的窗口组成，该窗口根据其步幅大小在输入的所有区域上滑动，为固定形状窗口（有时称为汇聚窗口）遍历的每个位置计算一个输出。在应用多层卷积时，我们常常丢失边缘像素。
2024-12-28 20:03:23
966
原创 【pytorch】深度学习计算
将输入数据作为其前向传播函数的参数。通过前向传播函数来生成输出。计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。存储和访问前向传播计算所需的参数。根据需要初始化模型参数。# 用模型参数声明层。这里，我们声明两个全连接的层# 调用MLP的父类Module的构造函数来执行必要的初始化。# 这样，在类实例化时也可以指定其他函数参数，例如模型参数params（稍后将介绍）self.hidden = nn.Linear(20, 256) # 隐藏层。
2024-12-22 20:42:05
333
原创 【pytorch】多层感知机
将许多全连接层堆叠在一起。每一层都输出到上面的层，直到生成最后的输出。我们可以把前L−1层看作表示，把最后一层看作线性预测器。这种架构通常称为多层感知机通常缩写为MLP。
2024-12-21 20:34:47
754
原创 【pytorch】softmax回归
"""在动画中绘制数据"""# 增量地绘制多条线# 使用lambda函数捕获参数# 向图表中添加多个数据点y = [y]n = len(y)
2024-12-12 20:55:07
599
原创 【pytorch】线性回归
第一个指定输入特征形状，即2，第二个指定输出特征形状为1计算均方误差使用的是MSELoss类，也称为平方𝐿2范数]。默认情况下，它返回所有样本损失的平均值PyTorch在optim模块中实现了该算法的许多变种。当我们(实例化一个SGD实例)时，我们要指定优化的参数 （可通过net.parameters()我们的模型中获得）以及优化算法所需的超参数字典。
2024-12-12 19:38:51
444
原创 如何设置使PPT的画的图片导出变清晰
在这里插入图片描述](https://i-blog.csdnimg.cn/direct/2243859b453249dcb8cb616b96646149.png。第四步：另存PPT为图片：文件-另存为-保存类型-Png-保存。修改宽度和高度，比图片的宽高均大0.2cm刚刚好。首先看想要保存的图的尺寸：点击图形-格式-长宽。新建一个ppt-设计-幻灯片大小-自定义大小。选择导出当前的PPT，就可以得到清晰的图片了。按照图中设置：高级-
2024-10-30 10:14:07
903
原创 【深度生成模型】Diffusion Model 扩散模型
可以看出实际上真正做的时候，噪声并不是一点一点加进去的，而是一次性的加进去了，去噪声的时候也是直接去除。与后面的数学原理相关。简单来说，两个过程，前向过程，向原图形中加噪声变为纯噪声图像；其中，去噪内部的工作流程：内部首先预测图片中的噪音，在输入图像上减去产生的噪音，达到去噪的效果。流程框架，基本包含三个元件：文字编码器，生成模型，解码，三个通常是分开训练再组合。，所以去噪模型的输出要和这个接近，也就是输出这个，在这个式子中，需要预测的只有。扩散模型，从一堆噪音里去除不需要的噪音，得到需要的图像。
2024-07-23 20:19:38
417
原创 新建虚拟环境并与Jupyter内核连接
第一步：在cmd里新建虚拟环境，shap38是新建的虚拟环境的名字 ，python=3.x。第4步，打开jupyter，就可以看见内核啦。
2023-12-27 21:20:12
796
原创 【机器学习13】生成对抗网络
从推断的角度看， 联合概率q(x,z)=q(x)q(z|x)， 其中q(x)为真实数据集上的经验数据分布， 可认为已知， 条件概率q(z|x)则要通过推断网络来表达；从生成的角度看， p(x,z)=p(z)p(x|z)， 其中p(z)是事先给定的， 如z～N(0,I)， 条件概率p(x|z)则通过生成网络来表达。当二者趋于一致时， 可以确定对应的边缘概率都相等， q(x)=p(x)， q(z)=p(z)， 对应的条件概率也都相等q(z|x)=p(z|x), q(x|z)=p(x|z)。
2023-11-19 21:13:22
600
原创 【机器学习12】集成学习
从所有的树结构中寻找最优的树结构是一个NP-hard问题， 因此在实际中往往采用贪心法来构建出一个次优的树结构， 基本思想是从根节点开始， 每次对一个叶子节点进行分裂， 针对每一种可能的分裂， 根据特定的准则选取最优的分裂。不同的决策树算法采用不同的准则， 如IC3算法采用信息增益， C4.5算法为了克服信息增益中容易偏向取值较多的特征而采用信息增益比， CART算法使用基尼指数和平方误差， XGBoost也有特定的准则来选取最优分裂。每一层在训练的时候， 对前一层基分类器分错的样本， 给予更高的权重。
2023-11-19 14:03:28
800
原创 【机器学习11】强化学习
包括深度Q-learning在内的大多数强化学习算法， 都没有收敛性的保证， 而策略梯度（Policy Gradient） 则没有这些问题， 它可以无差别地处理连续和离散状态空间，同时保证至少收敛到一个局部最优解。） ： 在每个时间点t， 机器人会发出一个动作at， 收到环境给出的收益rt， 同时环境进入到一个新的状态st。设τ为某一次0到T时间所有状态及行动的集合（称作一条轨迹） ， 则R(θ)=E(r(τ))， 其中函数r计算了轨迹τ的得分。奖励： 机器人可能收到的奖励， 一般是一个实数， 记作r。
2023-11-17 20:15:33
698
原创 【机器学习10】循环神经网络
与传统的循环神经网络不同的是， 从上一个记忆单元的状态ct−1到当前的状态ct的转移不一定完全取决于激活函数计算得到的状态， 还由输入门和遗忘门来共同控制。由于预测的误差是沿着神经网络的每一层反向传播的， 因此当雅克比矩阵的最大特征值大于1时， 随着离输出越来越远， 每层的梯度大小会呈指数增长， 导致梯度爆炸；该方法会保存b当前的较佳选择， 然后解码时每一步根据保存的选择进行下一步扩展和排序， 接着选择前b个进行保存， 循环迭代， 直到结束时选择最佳的一个作为解码的结果。
2023-11-17 14:46:38
436
原创 【机器学习8】采样
均匀分布是指整个样本空间中的每一个样本点对应的概率（密度） 都是相等的。对一个没有观测变量的贝叶斯网络进行采样， 最简单的方法是祖先采样（Ancestral Sampling） ， 它的核心思想是根据有向图的顺序， 先对祖先节点进行采样， 只有当某个节点的所有父节点都已完成采样， 才对该节点进行采样。几种常见的MCMC采样法：Metropolis-Hastings采样法和吉布斯采样法，实际应用中一般会对得到的样本序列进行“burn-in”处理，即截除掉序列中最开始的一部分样本， 只保留后面的样本。
2023-11-16 11:02:57
496
2
原创 【机器学习7】优化算法
黄色的部分是L2和L1正则项约束后的解空间， 绿色的等高线是凸优化问题中目标函数的等高线，L2正则项约束后的解空间是圆形， 而L1正则项约束的解空间是多边形。从贝叶斯的角度来理解L1正则化和L2正则化， 简单的解释是， L1正则化相当于对模型参数w引入了拉普拉斯先验， L2正则化相当于引入了高斯先验， 而拉普拉斯先验使参数为0的可能性更大。此时， 最小值点在红点处， 对应的w是0， 产生了稀疏性。对二分类问题， Y={1,−1}， 我们希望sign f(xi,θ)=yi， 最自然的损失函数是0-1损失，
2023-11-15 14:26:33
432
原创 【机器学习6】概率图模型
用观测结点表示观测到的数据， 用隐含结点表示潜在的知识， 用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布。概率图中的节点分为隐含节点和观测节点， 边分为有向边和无向边。从概率论的角度， 节点对应于随机变量， 边对应于随机变量的依赖或相关关系， 其中有向边表示单向的依赖， 无向边表示相互依赖关系。概率图模型分为贝叶斯网络（Bayesian Network） 和马尔可夫网络（MarkovNetwork） 两大类。
2023-11-15 13:17:46
441
原创 【机器学习5】无监督学习聚类
相比于监督学习， 非监督学习的输入数据没有标签信息， 需要通过算法模型来挖掘数据内在的结构和模式。非监督学习主要包含两大类学习方法： 数据聚类和特征变量关联。
2023-11-14 17:07:08
1271
原创 【机器学习3】有监督学习经典分类算法
逻辑回归处理的是分类问题， 线性回归处理的是回归问题， 这是两者的最本质的区别。逻辑回归与线性回归最大的区别， 即逻辑回归中的因变量为离散的，而线性回归中的因变量是连续的。预剪枝的核心思想是在树中结点进行扩展之前， 先计算当前的划分是否能带来模型泛化能力的提升， 如果不能， 则不再继续生长子树。逻辑回归和线性回归的相同之处二者都使用了极大似然估计来对训练样本进行建模，另外， 二者在求解超参数的过程中， 都可以使用梯度下降的方法。后剪枝， 是在已生成的过拟合决策树上进行剪枝， 得到简化版的剪枝决策树。
2023-11-07 20:26:28
857
原创 【机器学习2】模型评估
模型评估主要分为离线评估和在线评估两个阶段。针对分类、 排序、 回归、序列预测等不同类型的机器学习问题， 评估指标的选择也有所不同。
2023-11-07 15:54:35
476
原创 关于Anaconda Navigator打不开
路径：anaconda3\Lib\site-packages\anaconda_navigator\api\anaconda_api.py。关闭后台python 进程和防火墙。
2023-07-24 15:44:05
104
原创 【5】构建手写数字模型
MNIST手写字识别模型是一个三层的神经网络模型，有输入层、隐藏层以及输出层和一个softmax函数组成，每-层的特性如下:mnist模型前向传输# 输入层为28*28的像素# 输出层0~9有10类# 隐藏层节点数# 正则化项的系数# 为模型添加正则化# 定义前向传输过程# 第一层神经网络权重# 第一层神经网络偏置项# 第一层神经网络输出# 第二层网络权重# 第二层神经网络偏置项# 第二层神经网络输出])
2023-07-23 15:25:14
245
原创 【debug】tensorflow2.0使用中遇到的问题合集--持续更新版
在安装tf_slim以后，运行程序出现以上错误，这是由于tf的版本是1.0原因，要升级tf到2.0版本。在 TensorFlow 2.x 版本中，使用 Eager Execution 模式，不再需要使用。①如果是在tf2.0 中使用旧版1.0的会话方式的话，tf2.0版本和1.0版本的命名方式不同，将。② 如果直接使用新版 2.0的模式的话，使用 Eager Execution 模式，不再需要使用。因此，你可以直接运行 TensorFlow 2.x 中的代码，而不需要创建会话。安装2.0版本的tf。
2023-07-23 15:23:46
693
原创 cv2.error
错误： gray_image = cv2.cvtColor(img, cv2.COLOR_BGRA2GRAY)opencv在识别到中文路径时会出错，因此将路径名想办法变为英文。
2023-06-23 16:34:28
142
原创 【4】tf实现神经网络模型
一个含有两个输入的神经元，指定一个输入x1=x2=1,期望y能输出0.3。要求不断的输入x1=x2=1,然后不断的训练权重w与偏置b值，训练一万次后，再次输入x1与x2输出y的值是否为0.3。
2023-06-20 11:38:01
1010
原创 【3】模型相关函数及构建二维线性模型
tf.train.Saver()函数可以建立一个saver对象，然后在session中调用save即可将模型保存起来。
2023-05-24 21:08:13
149
原创 【1】安装与配置tensorflow
打开命令提示符，输入activate tensorflow。下载下来对应的whl文件，也就是我们俗称的轮子。
2023-05-23 11:03:43
382
原创 【1】机器学习
有监督学习（supervised learning）⚫ 数据集中的样本带有标签，有明确目标⚫ 回归和分类无监督学习（unsupervised learning）⚫ 数据集中的样本没有标签，没有明确目标⚫ 聚类、降维、排序、密度估计、关联规则挖掘强化学习（reinforcement learning）⚫ 智慧决策的过程，通过过程模拟和观察来不断学习、提高决策能力⚫ 试错方法⚫ 例如：AlphaGo机器学习的一些方法是深度学习不能替代的！
2023-05-22 09:10:28
634
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人