![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
羊藤枝
这个作者很懒,什么都没留下…
展开
-
关于反向传播
神经网络的代价函数:J(Θ)=−1m[∑i=1m∑k=1Kyk(i)log(hΘ(x(i)))k+(1−yk(i))log(1−(hΘ(x(i)))k)]+λ2m∑l=1L−1∑i=1sl∑j=1sl+1(Θji(l))2\begin{aligned} J(\Theta)=&-\frac{1}{m}\left[\sum_{i=1}^{m} \sum_{k=1}^{K} y_...原创 2019-06-25 14:43:03 · 204 阅读 · 0 评论 -
关于Adam优化算法
基础知识矩估计:一般有:原点矩和中心矩。随机变量X的n阶原点矩ana_{n}an定义为an=E(Xn)a_{n}=E\left(X^{n}\right)an=E(Xn)根据定义,我们可知: 一阶原点矩为 E(x)E(\mathrm{x})E(x)。 二阶原点矩为 E(x2)E\left(\mathrm{x}^{2}\right)E(x2)。因为样本与总体的原点矩是近似...原创 2019-06-27 16:03:28 · 2789 阅读 · 1 评论 -
1.3 Neural Networks
1.3 Neural Networks使用torch.nn包来构建神经网络。上一讲已经讲过了autograd,nn包依赖autograd包来定义模型并求导。 一个nn.Module包含各个层和一个forward(input)方法,该方法返回output。例如:关于卷积神经网络的基础介绍,可以参考这里:https://github.com/zergtant/pytorch-handbook/...原创 2019-06-27 21:10:10 · 348 阅读 · 0 评论 -
3.1 利用MNIST数据集做手写数字识别
3.1 利用MNIST数据集做手写数字识别from __future__ import print_functionimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimimport torchvisionimport torchvision.transfo...原创 2019-06-27 21:16:57 · 256 阅读 · 0 评论 -
铰链损失函数hinge loss VS 交叉熵损失函数
1.铰链损失函数hinge loss铰链损失函数(hinge loss)的思想就是让那些未能正确分类的和正确分类的之间的距离要足够的远,如果相差达到一个阈值Δ\DeltaΔ时,此时这个未正确分类的误差就可以认为是0,否则就要累积计算误差。具体介绍一下:假设对某一个输入xix_{i}xi进行分类,他的标签是yiy_{i}yi,通过一个函数f(xi,W)f\left(x_{i}, W\rig...原创 2019-06-28 17:44:56 · 8594 阅读 · 0 评论 -
3.2 迁移学习(transfer learning)
%matplotlib inline3.2 迁移学习(transfer learning)关于迁移学习的一些基础知识可以参考王晋东的迁移学习手册:https://max.book118.com/html/2018/0902/5144341211001312.shtm迁移学习的意义何在?在实践中,很少有人从头开始训练整个卷积网络(随机初始化),因为拥有足够大小的数据集是相对罕见的。相反,通常...原创 2019-07-05 17:28:58 · 701 阅读 · 0 评论 -
CUDA:out of memory
记录一下,在利用GPU训练maskRCNN 过程中遇到的一个小问题,CUDA:out of memory这个问题主要是由于GPU上显存不够引起的,由于我在服务器上跑的,因为有其他人同时在用这块GPU,所以导致显存不够.首先查看GPU的运行情况,linux系统,在终端输入:watch -n 0.2 nvidia-smiwindow系统,在文件夹C:\Program Files\NVID...原创 2019-07-18 15:14:42 · 2314 阅读 · 0 评论 -
基于深度学习的目标检测算法3----Faster RCNN && MaskRCNNN
什么是end to end ?端到端指的是输入是原始数据,输出是最后的结果,只关心输入和输出,中间的步骤全部都不管。原来输入端不是直接的原始数据,而是在原始数据中提取的特征....原创 2019-07-16 17:06:02 · 429 阅读 · 0 评论 -
带有dilation的conv卷积输出尺寸的计算公式
对于conv卷积输出尺寸的计算公式:原创 2019-08-22 17:36:47 · 9313 阅读 · 2 评论