深度学习
文章平均质量分 84
记录学习深度学习过程中的点滴
炼丹师小米
我很懒,什么都没有留下。
展开
-
反向传播与梯度下降
之前对反向传播和梯度下降一直不太通透,感觉理解的很模糊,理解层次仅仅局限在概念上。因此为了能够对反向传播和梯度下降的具体的原理和计算过程有一个清晰的认识,本人又去重温一遍李宏毅老师的课,在此将学习过程和自己的见解记录在此。反向传播是为了计算每个参数对loss的导数的;反向传播中的forward pass是为了保留计算图中的任意一次计算的w对z 的导数的,这样在backward pass计算的时候就可以根据forward pass计算的导数计算出来loss对w的导数。原创 2022-11-09 00:13:35 · 1710 阅读 · 1 评论 -
预训练是什么意思
预训练是什么意思预训练预训练的简单概括预训练思想的本质学习任务的分解预训练预训练的简单概括使用尽可能多的训练数据,从中提取出尽可能多的共性特征,从而让模型对特定任务的学习负担变轻。预训练思想的本质1.模型参数不再是随机初始化,而是通过一些任务进行预训练2.将训练任务拆解成共性学习和特性学习两个步骤上面两句话分别从两个不同的角度来解释预训练思想的本质。第一句话从模型的角度,第二句话从数据的角度学习任务的分解“预训练”的做法一般是将大量低成本收集的训练数据放在一起,经过某种预训方法去学习其中的原创 2021-10-24 18:18:06 · 28020 阅读 · 4 评论 -
Machine/Deep learning的基本概念
本文属于李宏毅老师课程的笔记,为了加深自己的记忆与理解而写。原创 2022-11-06 21:52:49 · 413 阅读 · 0 评论 -
对神经网络的深入思考
神经网络直观上的理解,就是可以通过多层的网络来拟合空间中任意一个函数,但是如果深入的思考一下就会产生很多的疑问,比如神经网络拟合的到底是什么样的函数呢?loss函数和优化器除了是在帮助模型更新参数以外,到底是在做什么的呢?神经网络本质就是一个数学函数,只不过这个函数比较复杂,我们无法手写出来。在设计网络结构的时候,网络结构就包含了一个函数的集合,不同结构就决定了不同的函数集合,这个我们在上面也介绍了。原创 2022-11-07 00:04:32 · 379 阅读 · 0 评论