神经网络学习笔记（二）线性神经网络

最新推荐文章于 2024-06-21 17:35:23 发布

cyhbrilliant

最新推荐文章于 2024-06-21 17:35:23 发布

阅读量6.1k

点赞数 4

分类专栏：神经网络机器学习文章标签：神经网络 matlab 机器学习线性拟合人工智能

本文链接：https://blog.csdn.net/cyhbrilliant/article/details/52609748

版权

神经网络同时被 2 个专栏收录

7 篇文章 8 订阅

订阅专栏

机器学习

7 篇文章 0 订阅

订阅专栏

线性神经网络

线性神经网络和单层感知机非常相似，输入层、输出层甚至是误差迭代函数都相同，唯一的区别就是他们的传输函数不同。

回顾一下

单层感知机的传输函数：

y=sgn(x)

sgn{
x>0 y=1
x<=0 y=0
}

这是二值的函数，所以只能解决二分类问题。

而线性神经网络的传输函数：

sgn{
y=x;
}

这就决定了线性函数可以拟合线性方程，而且比感知机拟合出来的误差小的多得多。

线性神经网络的误差迭代

线性神经网络用的是LMS（最小均方）算法，并且利用梯度下降法进行收敛，效果很好。

我们假设实际输出量是y 预期输出量是d
误差e就是：e=d-y

我们把代价函数设置为，L=1/2*e^2 ,因为e^2是二次函数，最小极值点必定是最小点，不容易陷入局部最小。

我们把误差方程展开：
假设x为输入量，w为权值。
y=wx；
e=d-wx；

现在我们对L求w的偏导：
dL/dw=e*(de/dw);
de/dw=-x;
dL/dw=-x*e;

学习率为sigma，并且把学习单位设为梯度下降的程度。就有如下迭代公式：
w=w+sigma*x*e;

是不是和上一节我们讨论的单层感知机很像？

实现线性神经网络（Matlab非API）

拟合线性方程

下面我们就利用matlab来实现一下怎样拟合出线性方程。

首先我们要创建x，y变量：
我们给y加入噪声来干扰拟合：

x=-5:1:5;
y=6*x+3;
y=y+randn(1,length(x));  %加入噪声
x=[x;
    ones(1,length(x))];  %加上偏置b

输出看一下

这里写图片描述

肉眼也看得出这是一条不直的线，但均匀分布在y=6*x+3周围。

第二步，设置参数

w=[0,0];       %加上偏置一共二维向量

lr=0.01;       %学习率

maxiterator=20000;

wr=[10,10];    %前一次迭代的权值w

第三步，迭代使代价函数最小

for i=1:maxiterator

    fprintf('迭代次数 %d',i);
    t=w*x;
    e=y-t;
    e  %输出误差
    if (sum(e.^2)/length(e))<0.5
        break;
    end

    w=w+lr*e*x';
    w  %输出w权值
    if abs(sum((wr-w).^2))<10^-20;
        break;
    end

    wr=w;
end