深度学习
在项目中实际接触到了深度学习中的知识
Lavender-csdn
这个作者很懒,什么都没留下…
展开
-
深度学习训练中梯度消失的原因有哪些?有哪些解决方法?
梯度消失产生的主要原因有:一是使用了深层网络,二是采用了不合适的损失函数。(1)目前优化神经网络的方法都是基于BP,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则(Chain Rule)的帮助。而链式法则是一个连乘的形式,所以当层数越深的时候,梯度将以指数形式传播。梯度消失问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时,得到的梯度值接近0,也就是梯度消失。(2)转载 2020-05-09 09:19:28 · 2455 阅读 · 0 评论 -
Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks(LSNet)论文解读
因为自己是做时间序列预测这一块,所以关于阅读的论文也是这一块,主要是深度学习在时间序列预测中的一个应用。其实撇开深度学习而言,时间序列预测本身就有自己的方法:ARIMA、VAR、三指数平滑法、SARIMA等等,还包括机器学习中的方法(回归分析,随机森林,GBDT、Xgboost等等)。因为深度学习被炒得很热,吸引了很多研究人员的目光,所以深度学习在时间序列预测中的应用也越来越受关注,越来越多的论文...原创 2020-05-04 11:27:41 · 5018 阅读 · 13 评论 -
一文读懂逻辑回归(Logistic Regression)
逻辑回归其实是是一种广义的线性回归,虽然说是回归函数,但是它其实是处理分类问题,我们从其背景,损失函数两方面说清楚。背景参考周志华教授的《机器学习》和吴恩达大神的深度学习中的讲解,逻辑回归的起源是解决二分类问题,这里我们假设二分类中的类别是{0,1},我们想知道给定一个样本X,这个样本属于1类的概率是多少?也就是要求得的值,而线性回归模型产生的预测值是实值,但是要想得到概率值,输出的值必须...原创 2020-04-29 17:40:41 · 2430 阅读 · 0 评论