深度学习
闻.铃
这个作者很懒,什么都没留下…
展开
-
深度学习Day 5.2 Tips of Deep Learning
目录1. 深度学习的三个步骤1.1 define a set of function1.2 goodness of function1.3 pick the best function2. 模型优化2.1更新激活函数2.2Adaptive Learning Rate2.3 Early Stopping2.4Regularization2.5 Drop out1. 深度学习的三个步骤1.1 define a set of function1.2 g...原创 2021-11-26 22:43:12 · 1286 阅读 · 0 评论 -
深度学习 Day5.1 反向传播
反向传播即 利用 forward pass 和 backward pass 来计算损失函数L 对 参数w的偏导原创 2021-11-26 22:20:18 · 224 阅读 · 0 评论 -
深度学习 Day 3 梯度下降的优化
1. SGD2.SGDM3.Adagrad 4.RMSProp 5.Adam6.SWATS7.AMSGrad8.AdaBound 9.Cyclical LR10.SGDR11.One-cycle LR12.RAdam13.Lookahead 14.NAG15.Nadam16.AdamW & SGDW with momentum17. 其他17...原创 2021-11-26 00:13:02 · 284 阅读 · 0 评论 -
深度学习 Day 4.2 Logistic Regression——Discriminative Model
目录1. Function Set 设定公式2.Goodness of a Function 损失函数3.Find the best function 梯度下降4. 为何判断logistic regression模型的好坏,用 交叉熵而不是Square Error:5.Multi-class Classification5.1 用softmax来计算一个元素去到各个class的概率5.2 把f(x)和y的分布用交叉熵来对比6.Feature transfo...原创 2021-11-22 11:06:07 · 794 阅读 · 0 评论 -
深度学习 Day4.1 Classification
1.Probabilistic Generative Model1.1 模型设定: 1)假定数据服从高斯分布 2)求解 均值 和 协方差矩阵 3)计算P(X|C1), 4)计算P(C1|X)1.2 模型好坏的评价1.3 寻找最优解——直接计算即可2.Sigmoid function2.1 从Posterior Probability 到 sigmoid function2.2Sigmoid funct...原创 2021-11-21 22:57:03 · 550 阅读 · 0 评论 -
深度学习 Day2 Gradient Decent
目录1. 调整learning rate——Adagrad2.Stochastic Gradient Descent3.Feature Scaling4. 梯度下降的局限1. 调整learning rate——Adagrad2.Stochastic Gradient Descent每看一个数据,就做一次梯度下降3.Feature Scaling把不同参数的尺度调到一样的大小:mean normalization(均值归一化)4. 梯度下降的局...原创 2021-11-13 16:32:50 · 1042 阅读 · 0 评论 -
深度学习 Day1 Regression
目录1. 构建基本模型2. 优化模型3. 模型误差的来源4. 交叉验证1. 构建基本模型1.1 基本模型1.2 构建损失函数1.3梯度下降1.4 在得出最优的 w和b 之后,计算training data和test data的损失值2. 优化模型2.1 采用更复杂的函数2.2 引入更多的参数2.3 损失函数正则化3. 模型误差的来源3.1 Bias 1)简单模型 2)underfitting3....原创 2021-11-10 21:28:40 · 270 阅读 · 0 评论