![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 83
努力学挖掘机的李某某
Thu->DIDI
展开
-
使用U-Net分割方法进行癌症诊断(教程翻译)
最近在做天池医疗AI大赛,看到一份不错的资料,想翻译一下做个记录,原链接点击打开链接原作者Jonathan Mulholland以下是翻译 2017-07-04 20:00:11 · 46908 阅读 · 27 评论 -
【机器学习】从RNN到Attention 中篇 从Seq2Seq到Attention in Seq2Seq
变长输出模型——Seq2Seq在上一篇【机器学习】从RNN到Attention上篇 循环神经网络RNN,门控循环神经网络LSTM中,我们的建模基础是通过一串历史的时间序列x1,x2,.....,xtx_1,x_2,.....,x_tx1,x2,.....,xt,预测下一时刻的时间序列xt+1x_{t+1}xt+1,即输出为1一个数据。如下图所示:这类模型通常可以用来解决时间序列预测,...原创 2019-06-30 13:06:49 · 672 阅读 · 0 评论 -
【机器学习】从RNN到Attention上篇 循环神经网络RNN,门控循环神经网络LSTM
为什么我们需要RNN对于一个时间序列问题,已知f(x1),f(x2),f(x3),....,f(xt−1)f(x_1),f(x_2),f(x_3),....,f(x_{t-1})f(x1),f(x2),f(x3),....,f(xt−1),求解f(xt∣x1,x2,....,xt−1)f(x_t|x_{1},x_2,....,x_{t-1})f(xt∣x1,x2,....,xt−1...原创 2019-06-29 14:49:02 · 676 阅读 · 0 评论 -
【机器学习】—— 各种梯度下降的变形momentum,adagrad,rmsprop,adam分别解决了什么问题
MomentumMomentum的公式表达设时间步ttt的自变量为xt\boldsymbol{x}_txt,学习率为ηt\eta_tηt。在t0t_0t0时刻,速度变量v0=0\boldsymbol{v}_0=0v0=0,在时间步t>0t>0t>0,Momentum关于速度变量vt=0\boldsymbol{v}_t=0vt=0和自变量xt\bold...原创 2019-06-21 08:04:26 · 656 阅读 · 0 评论 -
【机器学习】——为什么softmax搭配cross entropy是解决分类问题的通用方案?
众所周知,softmax+cross entropy是在线性模型、神经网络等模型中解决分类问题的通用方案,但是为什么选择这种方案呢?它相对于其他方案有什么优势?笔者一直也困惑不解,最近浏览了一些资料,有一些小小心得,希望大家指正~损失函数:交叉熵Cross Entropy我们可以从三个角度来理解cross entropy的物理意义从实例上直观理解我们首先来看Cross Entropy 的公...原创 2019-04-18 22:52:53 · 984 阅读 · 3 评论 -
【机器学习】——偏差方差,欠拟合过拟合
本系列文章由@ 努力学挖掘机的李某某出品,转载请注明出处。文章链接:http://blog.csdn.net/qq_30911665 虽然读研期间做的内容和机器学习相关,但是17年秋招时发现自己对于机器学习深度学习的理解不够深入,而自己在学习的过程中发现,通过分享讲解知识的方式更有助于自己对于知识的巩固和了解,于是萌生了写一个教程的想法。本文尽量采取简单易懂的方式叙述,顺便重新学习一下整个知...原创 2018-03-13 11:50:02 · 2520 阅读 · 0 评论 -
【机器学习】——学习率,梯度下降法,批梯度下降,归一化
本系列文章由@ 努力学挖掘机的李某某出品,转载请注明出处。文章链接:http://blog.csdn.net/qq_30911665 虽然读研期间做的内容和机器学习相关,但是17年秋招时发现自己对于机器学习深度学习的理解不够深入,而自己在学习的过程中发现,通过分享讲解知识的方式更有助于自己对于知识的巩固和了解,于是萌生了写一个教程的想法。本文尽量采取简单易懂的方式叙述,顺便重新学习一下整个知...原创 2018-03-12 19:44:36 · 4056 阅读 · 2 评论 -
【机器学习】—— 什么是机器学习
什么是机器学习(Machine Learning)Machine Learning这个词,我第一次听到感觉就是怪怪的,其实我们可以把它倒过来理解,“LearningMachine” ,好吧,似乎还是怪怪的, 那么我们把Machine换成Algorithm就好理解了,“Learning Algorithm”,没错,就是“学习算法”。机器学习就是具有学习能力的算法。那么接...原创 2018-01-19 18:02:17 · 2372 阅读 · 0 评论 -
VGGNet 《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION》学习笔记
1.INTRODUCTION作者开篇就说明了VGG的特点——深度, 为啥可以这么深呢?因为卷积核的size小!2.卷积结构输入是224*224的RGB图像,预处理是对于每个RGB值减掉了训练集的均值。卷积核的大小:3*3,能够表达上/下, 左/右,中心这些概念的最小尺寸。作者也在其中一种网络中使用了1*1尺寸的卷积核,可以看做是一种线性的变换。stride=1, pad原创 2017-09-07 15:28:23 · 2119 阅读 · 1 评论 -
ResNet 《Deep Residual Learning for Image Recognition》 阅读笔记
1. Introduction首先作者说明现在很多效果很好的网络都采用了比较深的网络结构,那么想要获得性能更好的网络,是否只需要叠加层数就行了呢?作者的实验结果如下这个问题的一个阻碍就是臭名昭著的梯度爆炸和梯度消失问题会导致无法收敛,但是这个问题通过标准化的初始化和BN这样的方法基本可以解决。虽然可以收敛,但是还有一个问题叫degradation,就是当网络变深,准确率原创 2017-09-14 14:34:56 · 2386 阅读 · 0 评论 -
AlexNet 《ImageNet Classification with Deep Convolutional Neural Networks》学习笔记
AlexNet的主要结构总共包含8层学习层:5层卷积层和三层全连接层下面介绍了几个重要的网络结构:1.ReLU Nonlinearity相比较于f(x) = tanh(x) 或者 f(x) = (1 + e^-x)^-1这样的饱和非线性(这两个函数在 -1,1 和 0,1附近接近饱和),对于随机梯度下降的方法,f(x) = max(0; x) 也就是ReLU要比两者原创 2017-09-06 18:10:10 · 2501 阅读 · 0 评论 -
论文阅读《Edge Detection Using Convolutional Neural Network》
Abstract:提出了一个基于CNN的边缘检测算法,可以直接得到图像块是否为边缘的预测。Introduction:1.传统的方法:基于梯度,假设不同的物体之间存在较大的梯度,相同物体内的梯度较小,但是现实情况下很多时候这个假设不成立,因此考虑用学习的方法。2.之前的学习方法:学习能力不够,无法直接根据原始图像块进行边缘检测,需要进行许多颜色和梯度的特征提取来表征原图像,很复杂而且原创 2017-09-14 11:46:10 · 2714 阅读 · 0 评论 -
【机器学习】从RNN到Attention 下篇 Transformer与Self-Attention
在上一篇【机器学习】从RNN到Attention 中篇 从Seq2Seq到Attention in Seq2Seq中我们介绍了基于RNN结构的Attention机制,Attention机制通过encoder和注意力权重可以观察到全局信息,从而较好地解决了长期依赖的问题,但是RNN的结构本身的输入依赖于前一时刻模型的输出,因此无法并行化。既然Attention机制本身就具有捕捉全局信息的能力,那么我...原创 2019-09-01 12:16:35 · 1519 阅读 · 0 评论