深度学习--李宏毅
丁磊_Ml
业精于勤,荒于嬉;行成于思,毁于随。
展开
-
台大李宏毅--梯度下降Gradient Descent
一:简单梯度下降1. 概述预测模型为 y=b+w∗xcpy=b+w∗xcpy=b+w*x_{cp},真实标签为y^ny^n\hat{y}^n,则损失函数loss function为 我们目的是最小化 损失函数L(w,b),即找出最佳的w∗,b∗w∗,b∗w^*,b^*即处理方法 : 梯度下降法2. 仅含一个参数的梯度下降对某一个参数的偏导数,就是对损失函数在这个参数的...原创 2018-03-25 16:55:21 · 1313 阅读 · 0 评论 -
tensorflow
tensorflow安装安装anaconda 链接: https://pan.baidu.com/s/1igQnoYfm7XkQQfCZWibqbg 密码: mcnj安装windows版tensorflow pip install tensorflow 注意是在cmd中输入的,其中cmd要以 “管理员”的方式打开tensorflow使用基本概念...原创 2018-05-08 09:53:33 · 379 阅读 · 0 评论 -
台大李宏毅--深度学习tip(模型优化)
训练结果不好,并不总是因为过拟合训练结果不好,并不总是因为过拟合。有可能是你的training data都没有训练好,那最终结果一定不好深度学习的层数越多,网络越复杂,并不一定模型会越复杂。有时会使得模型变简单,变成欠拟合。在机器学习中,要想让training data 训练的结果非常好是很容易做到的。比如,用svm,甚至可以使得raining data 的训练结果为10...原创 2018-03-27 13:45:36 · 1404 阅读 · 0 评论 -
Semi-supervised Learning ;半监督学习
1. 进入半监督学习2. 半监督学习 出现的原因???原因:收集样本数据容易,但是给每个样本打标签 成本就很高。 Collecting data is easy, but collecting “labelled” data is expensive.3. 本篇博客讲解的半监督学习的内容?3.1 Semi-supervised Learning for Gene...原创 2018-04-02 12:32:08 · 6706 阅读 · 0 评论 -
为什么越deep,越可以learning?
1. 模型深且瘦,要优于 矮且胖? 在参数一样的前提下,是模型深且瘦好些,还是矮且胖好些??? **答案:在参数一样的前提下,模型越深越好。**2. 在参数不变前提下,为什么模型越深越好???其实,“加大深度”就相当于函数中的模块化。 也就是“并不急于解决问题,而是把问题切成比较小的问题,再解决”。 而且这样的好处是:“数据集要求低,并不需要太多的数据” 比如: ...原创 2018-04-01 22:54:29 · 1019 阅读 · 2 评论 -
台大李宏毅--CNN
CNN与普通深度学习(全网络连接 )的很大区别就是:CNN是关注图片的一小部分,一小部分的。而普通深度学习是把图像的每一个像素全部拉长,都作为输入。一:CNN整体流程1. CNN – Convolution CNN 的Convolution与 普通DNN (Fully Connected )的异同 **由上面的三个图可以看见,CNN的卷积过程,其实就是 ...原创 2018-04-01 20:35:49 · 2050 阅读 · 0 评论 -
台大李宏毅--keras
Keras中文文档 Keras英文文档1. 简述2. keras基本流程以手写数字识别为例1. 定义网络结构2. 设定损失函数的形式3. 模型拟合当batch_size=1时,就是 随机梯度下降 Stochastic gradient descent 我们知道Stochastic gradient descent 比...原创 2018-03-26 10:56:32 · 638 阅读 · 1 评论 -
台大李宏毅-- 反向传播算法 Backpropagation
1. 链式法则2. 反向传播算法 实例 计算前向传播: 比如: 你会发现,输入值就是前向传播中,要求求解的导数的值。 计算后向传播:这里假设,一个样本造成的损失loss是: (每个样本有两个输入x1,x2)综上所述: 由上图可得,在反向传输中,在计算过程中,是先算出最末尾的 ∂C∂y1,∂C∂y2∂C∂y1,∂C∂y2\frac{\par...原创 2018-03-25 22:32:15 · 668 阅读 · 0 评论 -
台大李宏毅--初入深度学习
1. 神经网络机器学习的复杂所在,就是与 怎么进行特种工程 而深度学习的复杂所在,就是 怎么构造网络的结构(即层数,每层神经元的个数) 所以传统机器学习到深度学习的转化,就是特种工程到构造结构的转化。那么结构可以自动生成吗? 可以,但是还不完善。 2. 神经网络的损失函数那么怎么减少损失函数loss function. ——————》梯度下降...原创 2018-03-25 20:17:55 · 608 阅读 · 0 评论 -
卷积神经网络中各个模型结构的优劣对比(Alexnet,VGGNet,ResNet,InceptionNet,MobileNet)
原创 2019-03-03 01:05:41 · 6626 阅读 · 5 评论