- 博客(6)
- 收藏
- 关注
RSS订阅原创 李宏毅 5 卷积神经网络 Convolutional Neural Network
WHY CNN?If use DNN fully connect network, when there are lots of features especailly in image processing, over thousands or millions dimensions in a vetor, it will become a very complicated issue.We can filter some dimensions by leveraging prior knowledg
2022-05-29 01:08:35
124
原创 李宏毅 4 神经网络训练不起来怎么办
https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php1. local minima and saddle point 局部最优和鞍点https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/small-gradient-v7.pdflocal minima: 微分为零saddle point: critical point 微分为零根据泰勒展开公式，一次求导为0后可以看二次求导，判断
2022-05-25 22:49:53
396
原创 李宏毅 3 深度学习简介和反向传播
Deep learning 三个步骤DL 的步骤和ML 一样，DL的第一个步骤中选取的模型是神经网路Neural Network1. 神经网络Neural Network神经网络中每一个连接（按照某种结构）的函数（例如logistics function Sigmoid）都有自己的权重和偏差，这些权重和偏差就是参数。连接的方式由自己设计的。完全连接前馈神经网络 Fully Connect Feedforward Network这种方式，每一层的每一个函数之间都有连接。随着层数的变多，运算量会变
2022-05-22 23:06:31
214
原创 李宏毅 2 - 误差&梯度下降
Errorerror 来自于两部分， bias and variance.Bias 是estimator的多次结果均值和实际真实值之间的距离。variance是多次实验的稳定性。m1, m2, … m6 是多组样本的均值。 这边为无偏估计。简单的模型受到不同样本数据的影响比较小，所以当做多次实验时，结果会比较集中，而复杂模型的结果就很分散。不容易受到异常值的影响。Variance低。但从Bias的角度来看，复杂的模型会包括更大的function space,更大的结果模型，更容易将真实值包括
2022-05-18 22:13:42
80
原创 李宏毅 1 - 回归
Loss function损失函数是函数的函数，输入为一个函数，输出是衡量这个函数的好坏。输入函数由w, b 两个参数表示，所以损失函数也可以表示为L(w, b)。f* = arg min L(f) 表达的意思为，找到一个函数，使得loss function最小，f即为这样的函数。 由于这个函数的表达由w, b 两个参数表示， 所以也可以写成后面的表达形式 w, b* = arg min L(w, b)Gradient Descent梯度下降中，对损失函数中参数的偏微分，即为梯度。微分越大，参
2022-05-17 21:41:54
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人