《基于LSTM长短时神经网络的电机旋转振动单步预测》

直接上结论：

单步预测，循环200次，50个神经元，无dropout。
损失函数：均方误差 优化器：Adam

看得出，预测还是有很好的效果。

数据来源：
数据是来源于CWRU（凯斯西储大学轴承数据中心）的公开数据，这个应该也是用得最多的数据库之一了吧，地址是：https://csegroups.case.edu/bearingdatacenter/pages/welcome-case-western-reserve-university-bearing-data-center-website

数据处理：
这个文件的数据数量太大了，足足有24万多个，手上只有个小笔记本，这个数据量规模的神经网络训练，跑几天都跑不完，我截取前10000个数据进行使用，前9000个数据作为训练集，后1000个数据作为测试集。

数据库下载的文件格式是matlab的mat文件，但我使用的是python，所以用scio.loadmat调用其数据。

dataFile = scio.loadmat('D://360安全浏览器下载//LSTM-master//长短期记忆(LSTM)//LSTM实例//洗发水销量(单步预测)//97.mat')
for i in range(len(dataFile['X097_DE_time'])):
    data.append(dataFile['X097_DE_time'][i][0])

直接读取出来是个二维数组，先降维。

代码：
LSTM的代码是从github上下载的例程，进行一定的修改和数据可视化（调参侠）。

from pandas import DataFrame
from pandas import Series
from pandas import concat
from pandas import read_csv
from pandas import datetime
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import MinMaxScaler
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import Dropout
from keras.layers import LSTM
from keras.models import save_model
from keras.models import load_model
from math import sqrt
from matplotlib import pyplot
import numpy
import scipy.io as scio


# 构建差分序列
def difference(dataset, interval=1):
    diff = list()
    for i in range(interval, len(dataset)):
        value = dataset[i] - dataset[i - interval]
        diff.append(value)
    return Series(diff)


# 将数据转换为监督型学习数据，NaN值补0
def timeseries_to_supervised(data, lag=1):
    df = DataFrame(data)
    columns = [df.shift(i) for i in range(1, lag + 1)]
    columns.append(df)
    df = concat(columns, axis=1)
    df.fillna(0, inplace=True)
    return df


def scale(train, test):
    # 创建一个缩放器
    scaler = MinMaxScaler(feature_range=(-1, 1))
    scaler = scaler.fit(train)
    print(train)
    # 将train从二维数组的格式转化为一个23*2的张量
    # train = train.reshape(train.shape[0], train.shape[1])
    # 使用缩放器将数据缩放到[-1, 1]之间
    train_scaled = scaler.transform(train)
    print(train_scaled)
    # transform test
    # test = test.reshape(test.shape[0], test.shape[1])
    test_scaled = scaler.transform(test)
    return scaler, train_scaled, test_scaled


def fit_lstm(train, batch_size, nb_epoch, neurons):
    # 将数据对中的X, y拆分开，形状为[23*1]
    X, y = train[:, 0:-1], train[:, -1]
    # 将2D数据拼接成3D数据，形状为[23*1*1]
    X = X.reshape(X.shape[0], 1, X.shape[1])
    # Sequential 序贯模型
    model = Sequential()
    # neurons是神经元个数，batch_input_shape是输入形状(样本数，时间步，每个时间步的步长)，
    # stateful是状态保留,reset_states是重置网络状态，网络状态和网络权重是两回事
    # 1.同一批数据反复训练很多次，可保留每次训练状态供下次使用
    # 2.不同批数据之间有顺序关联，可保留每次训练状态（一只股票被差分成多个批次）
    # 3.不同批次数据，数据之间没有关联，则不传递网络状态（多只不同股票之间）
    model.add(LSTM(neurons, batch_input_shape=(batch_size, X.shape[1], X.shape[2]), stateful=True))
    model.add(Dense(1))  # 输出数组为单个数字
    # model.add(Dropout(0.25))  # 随机失活
    # 定义损失函数和优化器
    # compile 训练模式
    # 损失函数(loss)：                                     优化器(optimizer)：
    # mean_squared_error : 均方误差                         adam : 优化算法
    # mean_absolute_error ： 平均绝对误差                    SGD ： 随机梯度下降
    # mean_absolute_percentage_error ：平均绝对误差百分比     RMSprop
    # mean_squared_logarithmic_error ：均方对数误差          Adagrad
    # squared_hinge                                       Adadelta
    # hinge                                               Adamax
    # categorical_hinge                                   Nadam
    # logcosh
    # categorical_crossentropy
    # sparse_categorical_crossentropy
    # binary_crossentropy
    # kullback_leibler_divergence
    # poisson
    # cosine_proximity
    model.compile(loss='mean_squared_error', optimizer='adam')
    for i in range(nb_epoch):
        # model.fit参数：
        # x：输入数据。如果模型只有一个输入，那么x的类型是numpy array，如果模型有多个输入，那么x的类型应当为list，list的元素是对应于各个输入的numpy array
        # y：标签，numpy array
        # batch_size：整数，指定进行梯度下降时每个batch包含的样本数。训练时一个batch的样本会被计算一次梯度下降，使目标函数优化一步。
        # verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录
        # shuffle：布尔值或字符串，一般为布尔值，表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”，则是用来处理HDF5数据的特殊情况，它将在batch内部将数据打乱。
        # shuffle=False是不混淆数据顺序
        model.fit(X, y, epochs=1, batch_size=batch_size, verbose=1, shuffle=False)
        # 每训练完一个轮回，重置一次网络状态，网络状态和网络权重是两个东西
        model.reset_states()
    model.save('my_model.h5')
    return model


def forecast_lstm(model, batch_size, X):
    # 将形状为(1,)的，包含一个元素的一维数组X，构造成形状为(1,1,1)的3D张量
    X = X.reshape(1, 1, len(X))
    # 输出yhat形状为(1,1)的二维数组
    yhat = model.predict(X, batch_size=batch_size)
    # 返回二维数组中，第一行一列的yhat的数值
    return yhat[0, 0]


def invert_scale(scaler, X, y):
    # 将x，y转成一个list列表[x,y]->[0.26733207, -0.025524002]
    # [y]可以将一个数值转化成一个单元素列表
    new_row = [x for x in X] + [y]
    # new_row = [X[0]]+[y]
    # 将列表转化为一个,包含两个元素的一维数组，形状为(2,)->[0.26733207 -0.025524002]
    array = numpy.array(new_row)
    print(array.shape)
    # 将一维数组重构成形状为(1,2)的，1行、每行2个元素的，2维数组->[[ 0.26733207 -0.025524002]]
    array = array.reshape(1, len(array))
    # 逆缩放输入的形状为(1,2),输出形状为(1,2) -> [[ 73 15]]
    inverted = scaler.inverse_transform(array)
    return inverted[0, -1]


def inverse_difference(history, yhat, interval=1):
    return yhat + history[-interval]


data = []

dataFile = scio.loadmat('D://360安全浏览器下载//LSTM-master//长短期记忆(LSTM)//LSTM实例//洗发水销量(单步预测)//97.mat')
for i in range(len(dataFile['X097_DE_time'])):
    data.append(dataFile['X097_DE_time'][i][0])

series = list(data[0:10000])
# 加载数据
print(series)
# 最后N条数据作为测试数据
testNum = 1000

# 将所有数据进行差分转换
raw_values = series
diff_values = difference(raw_values, 1)

supervised = timeseries_to_supervised(diff_values, 1)
supervised_values = supervised.values

print(supervised_values)

train, test = supervised_values[0:-testNum], supervised_values[-testNum:]

scaler, train_scaled, test_scaled = scale(train, test)

print(test_scaled)

#训练完成后模型已保存，需要的时候使用model_load进行调用，屏蔽掉fit_lstm。
lstm_model = fit_lstm(train_scaled, 1, 200, 50)
#lstm_model = load_model('my_model.h5')

# print(train_scaled)
train_reshaped = train_scaled[:, 0].reshape(len(train_scaled), 1, 1)
print(train_reshaped)

lstm_model.predict(train_reshaped, batch_size=1)

predictions = list()

predictions_error = []

for i in range(len(test_scaled)):
    # 将(testNum,2)的2D训练集test_scaled拆分成X,y；
    # 其中X是第i行的0到-1列，形状是(1,)的包含一个元素的一维数组；y是第i行，倒数第1列，是一个数值；
    X, y = test_scaled[i, 0:-1], test_scaled[i, -1]
    # 将训练好的模型lstm_model，X变量，传入预测函数，定义步长为1，
    yhat = forecast_lstm(lstm_model, 1, X)
    print(yhat)
    #print(yhat.shape)
    # 对预测出的y值逆缩放
    yhat = invert_scale(scaler, X, yhat)
    print(yhat)
    # 对预测出的y值逆差分转换
    yhat = inverse_difference(raw_values, yhat, len(test_scaled) + 1 - i)
    print(yhat)
    # 存储预测的y值
    predictions.append(yhat)
    print(yhat)
    # 获取真实的y值
    expected = raw_values[len(train) + i + 1]
    print(expected)
    predictions_error.append(expected-yhat)
    # 输出对比预测值与真实值做
    print('Month=%d, Predicted=%f, Expected=%f' % (i + 1, yhat, expected))

rmse = sqrt(mean_squared_error(raw_values[-testNum:], predictions))
print('Test RMSE: %.3f' % rmse)

print(predictions_error)
# 作图展示
pyplot.plot(raw_values[-testNum:])
pyplot.plot(predictions)
ax = 0
pyplot.plot(predictions_error)
for i in range(testNum):
    ax = ax + abs(predictions[i])
bx = ax/testNum
print(bx)
pyplot.show()

有点笔记忽略就好。

结果就是：
蓝色线：原始数据
橙色线：单步预测数据
绿色线：蓝色-橙色，误差值

总体误差平均值为：0.056383346660335856
感觉还阔以。

其他：
1、利用训练好的模型，对10000~20000的数据进行预测：

嗯…数据堆在一起，有点看不清了，
平均误差：0.05956249681501503
貌似还可以。

2、添加dropout=0.25，再次训练和预测：
Dropout的作用是在训练神经模式时，随机使一部分神经元失活（抽签枪毙），这样做可以有效避免模型的过拟合，降低单个神经元对整体的依赖。

嗯…感觉差不多的样子。
平均误差：0.055417900788689356

小幻月
2021年3月15日