![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
lihongyi
futurewq
活到老,学到老
展开
-
where errors come from
偏差-方差分解试图对学习算法的期望泛化错误率进行拆解。通常来说,学习算法的错误来自于两个方面,大的偏差导致学习算法的欠拟合,大的方差导致学习算法的过拟合。学习算法有一个期望预测,期望预测的意思就是学习算法针对不同的训练集都会得到一组参数,不同的训练集学习算法的参数ye也会不同,期望预测就是适用于所有训练集的一个预测,我们想象我们使用许多训练集进行训练学习算法,然后这些训练集产生的结果的期望为期望预...原创 2019-05-28 22:37:33 · 154 阅读 · 0 评论 -
Gradient Descent
1.review gradient descent2.tuning your learning rates3.stochastic gradient descent4.feature scaling5.gradient descent theory6.more limitation of gradient descent1.review gradient descent...原创 2019-06-01 13:22:46 · 247 阅读 · 0 评论 -
Logistic Regression
每个问题求解我们都可以分为三步,第一步确定函数集,第二步确定函数的好坏程度,第三步得到最好的函数,我们接下来就从这三个部分来介绍逻辑回归。第一步 Function set上图可以形象化如下图所示所以逻辑回归与线性回归的第一个不同之处如下图所示:第二步我们需要确定函数集中函数的好坏程度。假设我们的数据集来自于某个分布,当给定w和b,我们就可以得到产生这组数据集的概率,...原创 2019-06-15 15:58:09 · 545 阅读 · 0 评论 -
introduction of deep learning
深度学习的发展历史:deep learning也需要三个步骤,如下图所示:第一步:定义函数集,在这里的函数集就是neural network,我们都是会定义一个网络结构,当权重没有确定时,该网络结构就对应了一个函数集。第二步:判断函数的好坏程度,利用损失函数来判断第三步:找到一个最好的函数,根据梯度下降法更新权重,利用损失函数判定权重对应的网络的好坏程度。univers...原创 2019-06-15 21:19:37 · 118 阅读 · 0 评论 -
classification:probabilistic generative model
分类问题就是根据输入的信息确定qi其所属的类别,比如医疗诊断、手写字体识别、人脸识别。那怎么做分类问题呢?第一种方案将分类问题按照回归问题处理,以二分类为例,类别1的目标就是1,类别2的目标就是-1.越接近1就是属于类别1,越接近-1就属于类别2。但是当按照回归问题处理时会存在一些问题导致分类准确率降低。如下图所示。如上图所示,左图中,分界回归线将数据很好地分类,但是在右图中,当类...原创 2019-06-11 21:12:43 · 175 阅读 · 0 评论 -
BP and hello world of deep learning
我们在计算参数时,使用梯度下降方法,为了很好的将梯度下降法应用到deep learning,我们使用反向传播算法。我们使用反向传播算法计算每个参数的更新量,然后使用梯度下降法更新参数值。为了计算每个参数的更新量,我们需要计算每个参数的梯度,在求导数的时候,需要注意的是链式法则,如下图所示:在计算损失函数时,我们每次只需要计算每个样本的损失函数,然后将这些样本的损失函数相加即可得到总的损...原创 2019-06-17 22:30:49 · 137 阅读 · 0 评论 -
tips for deep learning
当有一个网络结构时,该网络结构应用于某个问题上,那么du对于该网络结构的衡量就有不同的标准,可能是在训练集上的效果就不好;可能是在训练集上的效果很好,但是在测试集上的效果不好。如下图所示。如上图所示,模型表现不好并不仅仅是过拟合,还有可能是欠拟合,即在训练集上的效果就很差。当出现不同的问题时,我们需要使用不同的方法来解决。我们通常很难利用深度学习的强大之处,并不是网络结构越深其效果越好。网...原创 2019-06-25 21:39:14 · 220 阅读 · 0 评论 -
CNN
我们先来说明为什么将CNN用在图像中,也即是介绍CNN的三大特性1.局部感知我们不用为了检测某个pattern而去一次性看整个图像,我们可以每次只看一个图像的局部,因为每个pattern一般不会占据整张图像,每次都看图像的一部分时可以减少参数的使用。2.权值共享我们要检测到图像中的某种pattern,但是我们不在乎这种pattern在图像的什么位置。不同位置有相同的patter...原创 2019-07-04 16:21:45 · 509 阅读 · 0 评论