深度学习(李宏毅)
文章平均质量分 72
深度学习(李宏毅)
Grateful_Dead424
这个作者很懒,什么都没留下…
展开
-
李宏毅深度学习——第一天
RNN——>输入是一个句子,输出是pos or negCNN——>输入是图片,输出是从n个选项里选择一个正确的Seq2seq:翻译(产生文句)(generation)GAN:画二次元人物头像(generation)Unsupervised LearningNetwork Architecture——>给机器一个搜寻的范围,告诉机器只要在这个范围内找就可以了(RNN+CNN)Explainable AI—.原创 2021-12-03 14:05:32 · 1811 阅读 · 1 评论 -
李宏毅深度学习——第一天(Bias and Variance)
无偏性:总希望在多次试验中所得到的估计量的平均值与参数的真实值相吻合error来自于bias和variance简单的model(var小bias大),包含的范围比较小,不容易包含target复杂的model(var大 bias小),包含的范围很大,容易包含targetvarience很大,overfittingbias很大,underfitting做regularization让曲线更加平滑,但可能会伤害bias...原创 2021-12-04 01:48:39 · 463 阅读 · 0 评论 -
李宏毅深度学习——梯度下降
Loss function是function的function(function为自变量,线性回归中w、b为自变量)一开始离目标远learning_rate的值要比较大,等到离目标近的时候调小learning_rate是导数,是所有之前步骤算出的均方根(先求平方,再求均值,最后开根号)出现矛盾,分母的地方gradient越大步伐越小,分子的地方gradient越大步伐越大一个参数的时候,最好的步伐和微分大小成正比a和b比较,a的微分大,a距离最低点是比较远(只考虑...原创 2021-12-07 18:54:48 · 729 阅读 · 0 评论 -
李宏毅深度学习——优化方法
记录了关于梯度的历史SGDSGD with Momentum防止gradient为0,SGD停止不动了sgd with momentum,前面的移动会累加到下一步sgd with momentum,前面的移动会累加到下一步,所以小球不会卡在局部的一个最优的位置Adagrad前几个time step如果坡度很大,就会暴走,走到不好的位置上,有个分母就会走小步一点RMSProp怕使用adagrad时,一开始的坡度很大,那么步幅就会很小,走没...原创 2021-12-09 21:22:40 · 614 阅读 · 0 评论 -
李宏毅深度学习——分类
input是宝可梦精灵,output是属性能不能用这些得分来预测宝可梦的类别属性相克表利用回归,若数据input到regression的model里的数值接近于1就被分到第一类,若数据input到regression的model里的数值接近于0就被分到第二类里面第二幅图,若分界线仍然为绿线,右下角这些点input到regression的model里,数值会远大于1。因此绿线会向下倾斜到紫线的位置上,这样效果并不好mu...原创 2021-12-11 16:38:19 · 583 阅读 · 0 评论 -
李宏毅深度学习——逻辑回归
这就是logistic regression的原理logistic regression相比于linear regression而言,外面套了一个sigmoid函数y_hat是110而不是101y_hat是110而不是101交叉熵(cross entropy):cross entropy代表的含义是这两个分布有多接近,两个分布越接近cross entropy算出来就会越小step 2里面的两个L函数指的是损失函数,对于logistic regre...原创 2021-12-12 02:24:55 · 734 阅读 · 0 评论 -
李宏毅深度学习——深度学习介绍
Deep Learning近些年来吸引到了很多的关注,并且横跨多领域、横跨多种产品,有非常非常多的应用深度学习的历史、步骤1958年,一开始perception的提出引起了轰动, 有人说可以利用perception来分辨坦克和卡车,但结果是拍摄坦克卡车的日子不同,一天是雨天一天是晴天,perception只能够抓到亮度而已1980年,把多个perception接在一起1986年,发现超过3个hidden layer的效果是不好的1989年,认为1个hidden lay...原创 2021-12-12 23:21:02 · 1512 阅读 · 0 评论 -
李宏毅深度学习——Backpropagation
引言求导法则回顾一下之前学习过的,在求解神经网络时,我们通常使用梯度下降算法进行求解。首先,先自定义一组参数作为我们的起始值,之后计算我们需要使用的梯度,有了梯度之后就可以利用它进行迭代求解了显而易见的是,在一个神经网络中,可能参数数目成千上万,远超过我们的想象,那么这么庞大的计算量,我们就需要一些可以辅助我们的工具。backpropagation(反向传播)可以帮助我们有效的进行渐变迭代计算(帮助计算梯度)。求导法则第一种情况下,一元复合函数求导,内部求导与外部求导的..原创 2021-12-13 19:42:32 · 1884 阅读 · 0 评论 -
李宏毅深度学习——Tips for Deep Learning
目录一、神经网络的表现二、改进神经网络(一)梯度消失以及改进办法(二)Adaptive Learning Rate(三)Local minimize问题三、解决overfitting(一)Early Stopping(二)Regulation(三)Dropout一、神经网络的表现建立deep learning的三个步骤define a set function goodness of function pick the best functi..原创 2021-12-14 00:42:25 · 271 阅读 · 0 评论 -
李宏毅深度学习——Why Deep?
问题1:越深越好?earning从一层到七层,error rate在不断的下降。能看出network越深,参数越多,performance较也越好。比较shallow model较好还是deep model较好,在比较的时候一个前提就是调整shallow和Deep让他们的参数是一样多,这样就会得到一个矮胖的模型和高瘦的模型。这个实验的后半段的实验结果是:我们用5层hidden layer,每层2000个neural,得到的error rate是17.2%(error rate是越.原创 2021-12-14 19:32:52 · 388 阅读 · 0 评论