杂记(2):LSTM后面的全连接层是否要使用激活函数？

LSTM后面的全连接层是否要使用激活函数？

近日，在调试相关LSTM代码的时候发现：得到的预测输出只包含标准化后大于等于0的部分，对于小于0的部分单纯只是一条直线。这明显是关于激活函数使用错误的问题，模型将大于0的部分直接截断了。对于这样的情况下，激活函数应该如何去改思考了很久。具体思考方向包括以下几点：

• 更改标准化。将标准化改为最大最小归一化，改变后的输出数据范围仅在[0,1]之间。
• 更改激活函数。寻找是否存在范围包括小于0的激活函数。

更改标准化

将标准化改为最大最小归一化，改变后的输出数据范围仅在[0,1]之间。此时激活函数可以选择RELU或者Sigmoid，但是存在一个情况就是：得到的模型训练效果并不好。

更改激活函数

寻找是否存在范围包括小于0的激活函数。在经过寻找后发现，并不能找到合适的满足要求的激活函数。

解决方法

最终，考虑将激活函数删除来得到新的模型。激活函数是一种添加到人工神经网络中的函数,旨在帮助网络学习数据中的复杂模式。如果当模型足够复杂，激活函数的存在影响模型效果，那就直接将模型删除就行。

效果对比

更改标准化后：模型效果有所上升，R2指标能达到0.8左右。
更改激活函数：没有找到合适的激活函数，因此无效果。
删除激活函数：效果上升巨大，最终训练集效果R2达到0.99以上，在测试集上也取得了巨好的效果。