crabstew的博客

梯度消失与梯度爆炸出现原因解决梯度消失与梯度爆炸的方法出现原因梯度消失和梯度爆炸是因为在神经网络中，由于网络层数增多，导致求取的梯度趋于 ∞\infty∞（梯度爆炸）和趋于 0（梯度消失）的情况。参考解决梯度消失与梯度爆炸的方法梯度剪切：防止梯度爆炸，即当梯度超过一定阈值则将梯度限制在这个阈值范围内正则化项：Loss=(y−WTx)2+α∣∣w∣∣2Loss=(y-W^Tx)^2...

集成学习小记Bagging降低方差(variance)，boosting降低偏差(bias)Random Forest（随机森林）是什么？StackingBagging降低方差(variance)，boosting降低偏差(bias)Bagging与Boosting的区别简单的记：Bagging降低方差的原因：bagging是随机取样，因此模型间相关性不高，所以可以防止过拟合Boosti...

从零到实现CNN分类器并优化,基于Pytorch前言基础知识Pytorch介绍安装开始学习Pytorch导入包tensor基础操作与Numpy类型相互转化Autograd（自动求微分）前言简述autograd包的使用神经网络前言我只是Pytorch官网的搬运工，以下内容在Pytorch官网Tutorial页面都可以找到记录自己从零到实现CNN分类器所寻找的资源、学习过程基础知识学会Pyt...

什么是Exposure Biasexposure bias 是在RNN（递归神经网络）中的一种偏差即 RNN 在 training 时接受 ground truth input，但 testing 时却接受自己之前的 output，这两个 setting不一致会导致 error accumulate...

迁移学习transfer learning前言前言实际中，很少人会从零开始训练整个卷积神经网络（即随机初始化）。因为很少有机会能得到足够的数据集。常见的是，我们会在一个很大的数据集（比如说Image Net）提前训练，然后使用卷积神经网络（ConvNet）要么作为一个初始值，要么作为一个固定的特征提取器。两种主要的迁移学习情景：Finetuning the convnet: 我们使用p...