![](https://img-blog.csdnimg.cn/20200407111610949.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
李宏毅深度学习课程记录
万树不会古冬u
"十年饮冰,难凉热血"
展开
-
P12 深度学习技巧和优化方法
本文会顺带解决CNN部分的两个问题:1、max pooling架构中用到的max无法微分,那在gradient descent的时候该如何处理?2、L1 的Regression到底是什么东西本文的主要思路:针对training set和testing set上的performance分别提出针对性的解决方法1、在training set上准确率不高:new activation fun...原创 2020-04-13 11:47:42 · 752 阅读 · 0 评论 -
P11 卷积神经网络(二)
人们常常会说,deep learning就是一个黑盒子,你learn完以后根本就不知道它得到了什么,所以会有很多人不喜欢这种方法,这篇文章就讲述了三个问题:What does CNN do?Why CNN?How to design CNN?What does CNN learn?what is intelligent如果今天有一个方法,它可以让你轻易地理解为什么这个方法会下这样的判断和...原创 2020-04-12 21:11:54 · 240 阅读 · 0 评论 -
P10 卷积神经网络(一)
CNN常常被用在影像处理上,它的theory base就是三个property,和两个架构convolution 架构:针对property 1和property 2max pooling架构:针对property 3Why CNN for Image?CNN V.s. DNN我们当然可以用一般的neural network来做影像处理,不一定要用CNN,比如说,你想要做图像的分类,...原创 2020-04-11 22:28:50 · 283 阅读 · 0 评论 -
P9 手写数字识别
Why Keras你可能会问,为什么不学TensorFlow呢?明明tensorflow才是目前最流行的machine learning库之一啊。其实,它并没有那么好用,tensorflow和另外一个功能相近的toolkit theano,它们是非常flexible的,你甚至可以把它想成是一个微分器,它完全可以做deep learning以外的事情,因为它的作用就是帮你算微分,拿到微分之后呢,你...原创 2020-04-11 15:16:14 · 188 阅读 · 0 评论 -
P8 Backpropagation
Backpropagation(反向传播),就是告诉我们用gradient descent来train一个neural network的时候该怎么做,它只是求微分的一种方法,而不是一种新的算法Gradient DescentGradient Descent的使用方法,跟前面讲到的linear Regression或者是Logistic Regression是一模一样的,唯一的区别就在于当它...原创 2020-04-11 14:29:40 · 192 阅读 · 0 评论 -
P7 深度学习简介
Ups and downs of Deep Learning1958:Perceptron(linear model),感知机的提出和Logistic Regression类似,只是少了sigmoid的部分1969:Perceptron has limitation,from MIT1980s:Multi-layer Perceptron,多层感知机和今天的DNN很像19...原创 2020-04-09 16:07:43 · 316 阅读 · 0 评论 -
P6 Logistic Regression
Review在classification这一章节,我们讨论了如何通过样本点的均值uuu和协方差Σ\SigmaΣ来计算P(C1),P(C2),P(x∣C1),P(x∣C2)P(C_1),P(C_2),P(x|C_1),P(x|C_2)P(C1),P(C2),P(x∣C1),P(x∣C2),进而利用P(C1∣x)=P(C1)P(x∣C1)P(C1)P(x∣C1)+P(C2)P(x∣C2)P...原创 2020-04-09 13:59:25 · 226 阅读 · 0 评论 -
P5 概率生成模型
Classification概念描述分类问题是找一个function,它的input是一个object,它的输出是这个object属于哪一个class还是以宝可梦为例,已知宝可梦有18种属性,现在要解决的分类问题就是做一个宝可梦种类的分类器,我们要找一个function,这个function的input是某一只宝可梦,它的output就是这只宝可梦属于这18类别中的哪一个type输入数值...原创 2020-04-09 09:12:13 · 412 阅读 · 0 评论 -
P4 Gradient Descent
一、回顾前面预测宝可梦cp值的例子里,已经初步介绍了Gradient Descent的用法:In step 3,我们需要解决下面的优化问题:θ∗=argminθL(θ)\theta^{*}=\arg \underset{\theta}{\min} L(\theta) \quadθ∗=argθminL(θ)LLL : Loss function(损失函数)θ:\theta:θ: P...原创 2020-04-08 19:42:14 · 297 阅读 · 0 评论 -
P3 探究误差的来源
Error的来源从上节课测试集数据来看,AverageErrorAverage ErrorAverageError 随着模型复杂增加呈指数上升趋势。更复杂的模型并不能给测试集带来更好的效果,而这些 ErrorErrorError 的主要有两个来源,分别是 biasbiasbiasbiasbiasbias 和 variancevariancevariance 。然而 biasbiasbiasb...原创 2020-04-08 14:58:32 · 208 阅读 · 0 评论 -
P2 回归问题
一、回归定义和应用例子1.1 回归定义1.2 应用举例二、模型步骤Step1:模型假设,对于线性回归问题,就是一个线性函数,然后选择模型框架(线性模型)Step2:模型评估,构建一个损失函数,通过损失函数来衡量众多模型的好坏Step3:模型优化,通过梯度下降算法筛选出最好的参数,也就是能让损失函数达到最小的参数值,此时对应的函数是最合适的函数三、本次回归问题的分析3.1 基...原创 2020-04-07 18:13:37 · 222 阅读 · 0 评论 -
P1 机器学习介绍
一、几个基本问题机器学习问题中:形象的解释就是你就写段程序,然后让机器人变得了很聪明,他就能够有学习的能力。接下来,你就像教一个婴儿、教一个小孩一样的教他,你并不是写程序让他做到这件事,你是写程序让它具有学习的能力。机器学习的最终目标:寻找一个function,要让机器具有一个能力,这种能力是根据你提供给他的资料,它去寻找出我们要寻找的function。还有很多关键问题都可以想成是我们就是需...原创 2020-04-07 14:24:25 · 491 阅读 · 0 评论