递归神经网络LSTM原理——结合实例MATLAB实现

最新推荐文章于 2024-08-01 01:00:00 发布

玉米加农炮

最新推荐文章于 2024-08-01 01:00:00 发布

阅读量8.5w

点赞数 71

分类专栏：神经网络 ART 递归神经网络RNN 文章标签：递归神经网络 LSTM MATLAB BPTT RNN

本文链接：https://blog.csdn.net/u010540396/article/details/52797489

版权

完整程序及代码：
https://download.csdn.net/download/u010540396/10839991
完整程序及代码：
https://download.csdn.net/download/u010540396/10839991
完整程序及代码：
https://download.csdn.net/download/u010540396/10839991

最近正在看递归神经网络，看了网上很多博文，算是鱼龙混杂，并且基本都是使用Python实现，要不就是使用Matlab中的函数库等。对于使用Matlab的同学，甚为不方便。所以我将结合实例，使用matlab语言，完成递归神经网络程序的编写（LSTM）。本人菜鸡一枚，如有错误还望各路大神，指正教导。文章的问题和数据和我之前写的递归神经网络BPTT文章中一致，方便大家比较两种方法的差异，文章链接递归神经网络BPTT的MATLAB实现。另外，关于理论推导算法步骤，等我过几天有时间更新。
一、问题描述
问题描述
这里写图片描述
二、相关数据
相关数据

三、程序代码
LSTM_mian.m

%%% LSTM网络结合实例仿真
%%% 作者：xd.wp
%%% 时间：2016.10.08  12:06
%% 程序说明
%  1、数据为7天，四个时间点的空调功耗，用前三个推测第四个训练，依次类推。第七天作为检验
%  2、LSTM网络输入结点为12，输出结点为4个，隐藏结点18个

clear all;
clc;
%% 数据加载，并归一化处理
[train_data,test_data]=LSTM_data_process();
data_length=size(train_data,1);
data_num=size(train_data,2);
%% 网络参数初始化
% 结点数设置
input_num=12;
cell_num=18;
output_num=4;
% 网络中门的偏置
bias_input_gate=rand(1,cell_num);
bias_forget_gate=rand(1,cell_num);
bias_output_gate=rand(1,cell_num);
% ab=1.2;
% bias_input_gate=ones(1,cell_num)/ab;
% bias_forget_gate=ones(1,cell_num)/ab;
% bias_output_gate=ones(1,cell_num)/ab;
%网络权重初始化
ab=20;
weight_input_x=rand(input_num,cell_num)/ab;
weight_input_h=rand(output_num,cell_num)/ab;
weight_inputgate_x=rand(input_num,cell_num)/ab;
weight_inputgate_c=rand(cell_num,cell_num)/ab;
weight_forgetgate_x=rand(input_num,cell_num)/ab;
weight_forgetgate_c=rand(cell_num,cell_num)/ab;
weight_outputgate_x=rand(input_num,cell_num)/ab;
weight_outputgate_c=rand(cell_num,cell_num)/ab;

%hidden_output权重
weight_preh_h=rand(cell_num,output_num);

%网络状态初始化
cost_gate=1e-6;
h_state=rand(output_num,data_num);
cell_state=rand(cell_num,data_num);
%% 网络训练学习
for iter=1:3000
    yita=0.01;            %每次迭代权重调整比例
    for m=1:data_num
        %前馈部分
        if(m==1)
            gate=tanh(train_data(:,m)'*weight_input_x);
            input_gate_input=train_data(:,m)'*weight_inputgate_x+bias_input_gate;
            output_gate_input=train_data(:,m)'*weight_outputgate_x+bias_output_gate;
            for n=1:cell_num