- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 链式法则-梯度更新公式推导（手写笔记）
虽然以前学过导数、偏导、梯度之类的相关知识，但时间久远导致总感觉晕晕乎乎的，于是自己推导一下具有一个隐藏层的神经网络的梯度反向传播公式，希望对大家有帮助。笔记中指出了为什么会存在梯度消失以及梯度爆炸现象。梯度消失主要是由于激活函数的导数值域通常比较小，当网络较深时，导数的连乘会导致该值越来越趋于0，从而导致靠近输出端的权重能够得到更新，而越靠近输入端的权重无法得到更新，最终导致学习效果不佳。梯度爆炸从公式中可以看出，梯度的反向传播与权重本身的值也有关系，当权重初始值特别大时，会导致反向传播时偏导数
2021-08-01 13:41:15
2113
4
原创 如何理解概率模型和非概率模型
之前一直很纠结什么是概率模型，什么是非概率模型，最近终于理解了，分享给大家通过举一个小例子，比如我们现在有一个分类任务，通过重量、体积、甜度、颜色将西瓜分为好、中、差三类。对于概率模型来说：通过给定的特征X=（x1重量=a，x2体积=b，x3甜度=c，x4颜色=d），计算出该西瓜属于每一类的概率P。即：P(好瓜 | X)P(中瓜 | X)P(差瓜 | X)将最大概率的类别赋给该西瓜。对于非概率模型来说：每个类别的瓜都用同一个综合的判别标准，但又不同的阈值，该综合判别标准是通过给定特定X计
2021-08-01 13:24:29
2752
3
原创 解决CUDA error: no kernel image is available for execution on the device
1. 电脑配置GPU 3080 算力8.6CUDA 11.1CUDNN 8.2.0conda 4.9.2python 3.8.52. 问题描述首先在pytroch官网根据电脑相应配置使用pip命令pip3 install torch==1.8.1+cu111 torchvision==0.9.1+cu111 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html安装torch、torchau
2021-05-24 23:55:13
83950
26
原创 感知机学习-为什么损失函数可以不考虑L2范数？
1. 前言最近想重新学习一下统计学习方法（第2版）-李航，为深度学习打下一个坚实的基础。在看到感知机的损失函数时产生了这样一个疑问，为什么明明用几何间隔计算结果更好，为什么不用，反而用效果不那么好的函数间隔？（函数间隔：即使是同一个平面，计算结果会随着w和b的缩放而产生不同的结果）2. 概念- 函数间隔其中f(x)为函数值，y是人为设定的样本的值（如：区分猫狗图片，猫标定为“ +1”，狗为“ -1 ”），即函数值✖标签。为什么该式可以表示距离？实际上函数间隔并不是真正的数据点到超平面的距离，只是
2021-05-24 14:56:09
899
转载 Ubuntu20.04 文件目录讲解
Ubuntu20.04 文件目录讲解前言1. 文件系统类型2. 文件系统结构前言本人是ubuntu小白，最近刚装上ubuntu20，装上一些软件之后，发现对文件目录不是很了解，导致很多操作不明不白，于是乎想先弄清楚文件的结构，下面主要是参考【https://blog.csdn.net/jdzwanghao/article/details/79861406】1. 文件系统类型windows中常见的磁盘格式有fat16、fat32和ntfs。windows是一个封闭的系统。无法打开ext3或者mac 日
2021-05-17 14:44:31
4095
1
原创 深度学习之图像处理-LeNet
深度学习之图像处理-LeNet前言一、模型构建二、模型训练三、模型测试总结前言LeNet是1998年由LeCun等人发明的CNN网络的雏形，结构比较简单，主要有7层（不包括输入），两个卷积层、两个池化层和三个全连接层。网络输入为32*32，输出维度为10。本次使用的数据集是Cifar10，共有60000张图片，包括50000张训练集和10000张测试集，分为10个类别，尺寸均为32×32。可直接在网上搜索下载，也可在torchvision.datasets.Cifar10在线下载使用。下面展示模
2021-01-19 15:31:01
634
原创 深度学习之图像处理-Pytorch（持续更新）
深度学习之图像处理-Pytorch（持续更新）文章目录深度学习之图像处理-Pytorch（持续更新）前言一、图像分类篇（更新中）1. AlexNet2. VGGNet3. GoogleNet4. ResNet5. MobileNet二、图像检测篇（后续）1. R-CNN2. Fast R-CNN3. Faster R-CNN4. SSD5. YOLO总结前言首先说明一下，我是一名研究生新生，以前几乎没接触过编程，学过一点C，但是也忘了。由于学习需要，从11月下旬开始学习python和图像处
2021-01-18 17:39:14
683
2
原创 Geforce RTX 3080 windows10 anaconda环境下的pytorch torchvision torchaudio安装
主要可以解决用conda下载pytorch慢以及cuda版本不匹配的问题研究生新生一名，以前从来没接触过深度学习、计算机视觉，但是最近导师想换到这个方向，作为新生也只能硬着头皮上，下面记录一下自己今天装pytorch过程，有不妥之处请不要喷，指出来我一定虚心接受。1. 首先确定自己电脑上的GPU以及CUDA版本这个没什么好说的，找到设备管理器–显示适配器–帮助–组件，就能看到自己电脑对应的版本。2. 到pytorch官网找到对应的版本比如我是cuda11，找到对应的。关键是不要选conda下的安
2020-12-18 22:27:34
1702
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人