- 博客(4)
- 收藏
- 关注
RSS订阅原创 关于梯度下降
第四：我们需要知道是，我们求解的最小值（全局最优点），而不是极值点（极值点可能不是最小值），这个时候我们就需要对我们的基本流程进行不断的改进。答：我们实际情况当中，代价函数可能是各种各样的，千奇百怪的，我们没有办法直接定义一个求解公司进行求解，但是我们可以选择梯度下降的方法，就可以做到求解。3、MBGD：小批量梯度下降：每次选择小批量的样本进行计算，提高了计算的速度，算法的精度也得到了一定的保证。第一、梯度下降的基本思想：（假设情景）在下山的过程中，在不断的下降的过程当中选择最陡峭的方向下山。
2023-08-28 20:42:02
91
原创 GRU入门理解
其效果与LSTM（1997年提出）相近，但是相对于LSTM，GRU的参数更加少，更加方便计算。约接近于1的时候，记忆下来的数据将越多，如果越接近于0，则代表以往的越多。总的来说，这一步骤的操作就是忘记上一个时刻隐藏状态的部分信息，加入这个时候的部分信息。通过重置门，模型可以选择性地重置先前的信息，从而更好地捕捉短期的依赖关系。GRU相对于LSTM只有两个门控单元（重置门，更新门），LSTM有三个门控单元（遗忘门，输入门，输出门）。越小，我们对之前隐藏状态所保留的信息将更小，说明之前状态的遗忘更多。
2023-08-21 20:18:51
256
1
原创 LSTM 三个门状态记录
这个时候，我们输入的数据为（10，1），中间w参数的维度为（64，64+10），64+10是因为ht-1与xt进行了concat连接。当x的维度为一个股票的时间序列数据。1、遗忘门：在隐藏状态当中，对于新数据的输入进行删除部分不重要的信息，有助于模型更好的处理长时间序列数据。2、输入门：在隐藏状态中，对于新数据的输入，选择部分重要信息添加进入，使得隐藏状态选择性记住重要信息。经过输入门，这个时候的状态ct为：，可作为下一个时刻的输入。这层lstm的输出则为：输出的数据yt为（64，1）。
2023-08-20 20:44:12
171
1
原创 CONV+LSTM（1）
作用：引入空间特征学习，这种结合可以在时序数据中捕获局部和全局的模式，从而提高模型的预测能力。然后，将 Conv1D 层的输出传递给 LSTM 层，LSTM 可以帮助捕捉输入序列中的长期时间关系，从而更好地理解整体的变化趋势。LSTM如果在第一层则需要输入input_shape参数，timesteps为时间步数，即你想使用多长时间去进行预测 ,（本次为20）首先，当我们得到一个时间序列的数据 只有一维时间序列数据（xi,x2,x3,x4,x5,x6...）是一种时间序列数据。不具备任何的参考价值。
2023-08-17 23:49:48
297
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人