2023/10/8周报 LSTM+张量基础

摘要

本周学习了一篇基于LSTM-RNN的锂电池剩余寿命预测技术的文章，使用LSTM-RNN的准确率比SVM提高了很多，然后对张量的一些基础概念进行学习入门，学习张量要多类比微积分的方法。

Abstract

This week, I learned an article about the remaining life prediction technology of lithium battery based on LSTM-RNN. The accuracy of using LSTM-RNN is much higher than that of SVM, and then I learned some basic concepts of tensor. In the process of learning tensors , can compare the calculus method.

文献阅读

题目

A LSTM-RNN method for the lithuim-ion battery remaining useful life prediction

引言

锂电池已广泛应用于消费电子产品，它们的性能会在重复的充电/放电循环中劣化。预测锂电池的剩余寿命可以预测故障，是十分重要的，主要分为基于模型和数据驱动两种方法。
基于模型的方法依赖于电池退化演化的数学模型，主要采用卡尔曼滤波（KF）、粒子滤波（PF）等先进的滤波方法对电池的RUL进行预测。
与基于模型的方法不同，数据驱动方法不需要明确的数学模型来描述电池的退化演变，并且仅依赖于历史退化数据。虽然简单RNN能够将先前的信息与当前的预测联系起来，但缺乏长期依赖性是RNN的弱点。LSTM是专门为解决长期依赖问题而开发的。本文使用LSTM-RNN用于学习容量退化数据的长期依赖性并预测锂离子电池的RUL。采用弹性均方反向传播（RMSprop）方法训练网络。

方法

A. LSTM RNN architecture
LSTM RNN整体架构如下图所示：

Internal state
Internal state 是LSTM单元的关键，它是每个细胞的核心，被线性激活。内部状态图具有固定单位权的自连通递归边。内部状态可以被认为是已经向其添加信息或已经从其移除信息的载体。这种信息流可以被称为“门”的结构仔细地调节。门是LSTM方法的一个显著特征，能够选择性地决定哪些信息应该通过。门是一个sigmoid S形单元，从当前输入层激活，也从前一个时间步的隐藏层激活。
Forget gate
LSTM RNN的第一步是决定哪些信息将被丢弃。这个决定是由Forget gate 的sigmoid层做出。它接受作为输入，并为内部状态 中的每个状态值输出一个介于0和1之间的数字。1表示完全保留状态值，0表示完全丢弃状态值。遗忘门计算如下：

Input gate and input node
下一步是决定哪些新信息将存储在内部状态中。该步骤包括两个部分。首先，一个被称为“Input gate” 的sigmoid层决定更新哪些值。然后，一个称为“input node” 的tanh层创建一个新候选状态的向量。计算两个输出的公式如下：

联立上述（1）-（3）三个式子，组合方程(1)（3）将先前的内部状态更新为当前状态：

Output gate
Output gate 决定输出什么信息。在将内部状态通过双曲正切层后（将值推到-1和1之间），再乘以sigmoid门的输出，计算剩余的状态值：

其中W和B值分别是层权重和偏置。因此，如果LSTM RNN在早期阶段从输入中检测到关键特征，它很容易在很长一段时间内携带此特征信息，从而学习隐藏的长期依赖关系。

实验过程

RMSprop的网络参数（权重和偏置）的更新如下：

其中，表示目标函数在时间步长t处关于参数的梯度; 是确定平方梯度的平均水平的系数; 表示学习率; 是避免除以零的平滑项。将设置为0.9，的默认值为0.001。

实验结果

SVM未能覆盖电池真实的失效循环。比起单纯的SVM，LSTM RNN预测电池寿命时的表现更好。

结论

本文使用LSTM构建数据驱动的电池RUL预测器。此外，还使用RMSprop小批量训练，加快训练的过程。结果表明，该预测器是准确的，RUL预测误差为-6个周期。引入LSTM RNN来预测锂离子电池RUL不仅有助于报告准确的早期故障警告，用于电池的维护或更换目的，而且还为深度学习的应用开发了一个新的领域。未来的工作可以集中在涉及更多在更复杂条件下工作的锂离子电池的退化数据，以进一步在实践中利用LSTM RNN的数据挖掘能力。

张量学习

基于映照的角度引入张量分析，有时提到张量是指张量场：

张量的定义——多重线性函数

多重线性：指的是对自变量每个分量的作用都具有线性性。

接下来以对第i个分量的作用具有线性性为例：

定义张量的线性空间

简单张量（三阶）

简单张量构造上的性质

对上述性质的证明（u，v，w的取值任意）：

总结

本周对LSTM RNN进行学习，并对张量的一些基础进行学习，下周将对以上内容进一步完善学习。