- 博客(22)
- 收藏
- 关注
RSS订阅原创 7.卷积神经网络与计算机视觉
计算机视觉是一门研究如何使计算机识别图片的学科，也是深度学习的主要应用领域之一。在众多深度模型中，卷积神经网络“独领风骚”，已经被称为计算机视觉的主要研究根据之一。
2024-03-31 20:51:21
1767
6
原创 6.5 Batch Normalization
在训练神经网络时，往往需要标准化输入数据，使得网络的训练更加快速和有效。然而SGD（随机梯度下降）等学习算法会在训练中不断改变网络的参数，隐藏层的激活值的分布会因此发生变化，而这一种变化就称为内协变量偏移为了解决ICS问题，批标准化（Batch Normalization）固定激活函数的输入变量的均值和方差，使得网络的训练更快。除了这一优势，Batch Normalization还具备其他功能：①应用了Batch Normalization的神经网络。
2024-03-26 09:33:37
991
1
原创 6.4 Dropout正则化
将mask和activations逐元素相乘，mask中数值为0的变量会将相应的激活值置为0，无论这一激活值本来的数值多大都不会参与到当前网络中更深层的计算，而mask中数值为1的变量则会保留相应的激活值。所以在测试时，Dropout将激活值乘上一个尺度缩放系数 1-p 以恢复在训练时按概率p随机地丢弃神经元所造成的尺度变换，其中的 p 就是在训练时抑制神经元的概率。因为Dropout对神经元的抑制是按照 p 的概率随机发生的，所以使用了Dropout的神经网络在每次训练中，学习的几乎都是一个新的网络。
2024-03-24 22:55:09
741
原创 6.3 BP神经网络
在多层感知器被引入的同时，也引入了一个新的问题：由于隐藏层的预期输出并没有在训练样例中给出，隐藏层结点的误差无法像单层感知器那样直接计算得到。为了解决这个问题，反向传播（BP）算法被引入，其核心思想是将误差由输出层向前层反向传播，利用后一层的误差来估计前一层的误差。反向传播算法由亨利·J.凯莉在1960年首先提出，阿瑟·E.布赖森也在1961年进一步讨论该算法。使用反向传播算法训练的网络称为BP网络。
2024-03-23 21:55:06
406
原创 5.3 用PyTorch实现Logistic回归
Logistic回归常用于解决二分类问题。为了便于描述，我们分别从两个多元高斯分布 N₁（μ₁，Σ₁ ）、N₂（μ₂，Σ₂）中生成数据 x₁ 和 x₂，这两个多元高斯分布分别表示两个类别，分别设置其标签为 y₁ 和 y₂。PyTorch 的 torch.distributions 提供了 MultivariateNormal 构建多元高斯分布。下面代码设置两组不同的均值向量和协方差矩阵，μ₁（mul）和 μ₂（mul）是二维均值向量，Σ₁（sigmal）和Σ₂（sigma2）是2*2的协方差矩阵。
2024-03-20 11:54:02
1441
2
原创 5.2 Logistic回归
为了求得logistic回归模型中的参数 w 和 b ，下面我们对条件概率 p（ y | x；例如在二元分类任务中，我们的目标是拟合这样一个分离超平面。似然函数 L（w，b）的最大化问题直接求解比较困难，我们可以采用。这样就可以把离散取值的分类问题近似地表示为连续取值的回归问题。变化 g（·），使得线性回归模型 f(·）实际上。一个函数 σ（·）来构造近似这个离散的阶跃函数。这样的回归模型称为Logistic回归模型。因此这样的回归模型称为广义线性回归模型。logistic函数或tanh函数。
2024-03-16 23:05:59
245
1
原创 5.1线性回归
指的是，通过统计分析一组随机变量X₁，...，Xn与另外一组随机变量Y₁，...，Yn之间的关系，得到一个可靠的模型，使得对于给定的X={X₁，...，Xn}，可以利用直观模型对Y = {Y₁，...，Yn}进行预测。（这里X₁，...，Xn被称为自变量，随机变量Y₁，...，Yn被称为因变量。1、在回归中我们有一些数据样本，通过对这些样本进行统计分析，获得一个预测模型 f (·)，使得对于测试数据x = {X₁，...，Xn}，可以得到一个较好的预测值：y = f (x)
2024-03-15 22:38:54
274
1
原创 PyTorch深度学习
Tensor对象是一个任意维度的矩阵，但是一个Tensor中所有元素的数据类型必须一致。Torch包含的数据类型和普遍的编程语言的数据类型相似，包含浮点型、有符号整型和无符号整型。这些类型既可以定义在CPU上，也可以定义在GPU上。
2024-03-14 16:35:44
1571
原创 PyTorch深度学习基础---PyTorch的自动微分
当Tensor的requires_grad属性设置为True时，PyTorch 的torch.autograd会自动追踪它的计算轨迹。当需要计算微分时，只需要对最终计算结果的Tensor调用backward方法，所有计算节点的微分就会被保存在grad属性。（1）输出：（2）输出：（3）输出：（4）
2024-03-13 08:24:47
184
原创 PyTorch深度学习基础---PyTorch的Reduction操作
Reduction操作的特点是它往往对一个Tensor内的元素执行规约的操作。
2024-03-12 11:09:03
177
1
原创 PyTorch深度学习基础---Tensor的变换、拼接和拆分
PyTorch提供了大量的对Tensor进行操作的函数或方法这些函数内部使用指针实现对矩阵的形状变化、拼接和拆分等操作。
2024-03-11 23:19:32
731
原创 PyTorch深度学习基础---Tensor的索引和切片
Tensor支持基本索引和切片操作。Tensor支持ndarray中的高级索引（整数索引和布尔索引）操作。torch.nonzero用于返回非零值的索引矩阵。torch.where（condition，x，y）判断condition的条件是否满足。
2024-03-10 20:41:51
308
1
原创 PyTorch深度学习基础---Tensor对象及其运算
Tensor对象是一个任意维度的矩阵，但是一个Tensor中所有元素的数据类型必须一致。Torch包含的数据类型和普遍的编程语言的数据类型相似，包含浮点型、有符号整型和无符号整型。这些类型既可以定义在CPU上，也可以定义在GPU上。
2024-03-09 22:35:01
491
1
原创 监督学习，非监督学习
监督学习回归和分类问题、精确率召回率之间的关系。无监督学习聚类、主成分分析问题、因果关系和概率图模型、对抗性网络以及衡量指标等问题的笔记。
2024-03-08 12:39:49
1542
1
原创 机器学习--模型评估与模型参数选择、正则化（笔记）
1、对于给定的输入x，某个模型的输出 ŷ = f（x）偏离真实目标值y，那么就说明模型；ŷ偏离y的程度可以用关于ŷ和y某个函数L（y，ŷ）来表示；作为误差的度量标准：这样的函数L（y，ŷ）称为损失函数。（损失函数的值越小，预测结果越接近真实值）【误差：预测输出y ̂与真实输出y之间的差异；经验误差、训练误差：在训练集上的误差；泛化误差：在新样本上的误差。泛化误差越小越好，经验误差不一定越小越好，可能导致过拟合。
2024-03-07 17:01:32
1459
原创 Caffe、TensorFlow、PyTorch三者比较（笔记）
1、优点：简洁易用、快速2、缺点：缺少灵活性，扩展难，依赖众多环境且难以配置，应用局限。3、在Caffe中最主要的抽象对象是层，每实现一个新的层，必须要利用C++实现它的前向传播和反向传播代码。4、如果想要新的层运行在GPU上，还需要同时利用CUDA实现这一层的前向传播和反向传播。
2024-03-06 11:21:11
1115
1
原创 深度学习框架，Caffe，TensorFlow（笔记）
卷积神经网络框架是一种常用的深度学习框架，主要应用在视频、图像处理等方面。Caffe是一个清晰、可读性高、快速的深度学习框架。Caffe是一个主流的工业级深度学习工具，精于图像处理。（它不够灵活，且对递归网络和语言建模的支持很差。对于基于层的网络结构，Caffe扩展性不好；用户如果想增加层，则需要自己实现前向传播、反向传播以及参数更新。1、Caffe的相应优化都是以文本形式而非代码形式给出。Caffe中的网络都是有向无环图的集合，可以直接定义。2、数据及其导数以blob的形式在层间流动。
2024-03-04 23:12:36
953
1
原创 深度学习算法--ResNet、BN、Inception（笔记）
ResNet，全称残差网络（Residual Network），是一种深度卷积神经网络架构，它通过引入残差学习来解决深层网络训练中的退化问题1、结构：这是ResNet的基本组成单元，用于构建网络的主要部分。残差块通常包含两个或更多的卷积层，每个卷积层后都跟着Batch Normalization（批量归一化）层和ReLU激活函数。这种设计有助于网络学习更复杂的特征。：ResNet通过在传统的层之间添加快捷连接，也称为跳跃连接或直连通道。
2024-03-03 23:39:26
876
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人