ANN_Adaptive linear Element (Adaline)

人工神经网络就是将生物与计算机结合起来的一种很神的东东。

今天学习了一下单层感知器，它是用来处理线性可分问题的。

线性可分简单的说，如果二维平面上有两类点，然后可以用一条直线一刀切，类似可以扩展到n维。。

既然只有两类，就可以用01函数（hardlim）来作为刀，这里叫输出函数，也叫阈值函数。。

输入呢有n多，怎么办？sigma（和）一下，就只有一个了。。

老是和的话就总是一样的数值了，怎么办？那就加权吧，就是对每个x[i]都有一个特定权值w[i]，然后相乘再相加。。

最后弄个偏移量b，多加一个x[0]=1，b=w[0]，这个小技巧就很方便编程了。。

模型如下：模型

数学表示：y=hardlim(sigma(w[i]*x[i])) , i=0-n

判决平面：

sigma(w[i]*x[i])=0;

学习算法：

(1) 设置变量和参数：
	X(n)= [1,x1 (n),x2 (n),…,xm (n)]为输入向量；
	W(n)= [b (n),w1 (n),w2 (n),…,wm (n)]为权值向量;
	b (n)为偏差；	  y (n)为感知器实际输出；
	d (n)为期望输出； n为迭代次数;
	η为学习速率，对于单层感知器 ，设η =1.
	  

(2) 初始化 n=0,权值向量Wj(0)=[各一个较小的随机非零数]

(3) 对于一组输入样本X(n)，指定它的期望输出y(0|1)
	  
(4) 计算感知器实际输出 d=hardlim(sigma), e=y[i]-d;

(5) 调整感知器的权值向量 w[i]new=w[i]old+x[i]*e;

(6)满足条件？是,结束; 否,n增加1,转第三步。

注意：判断满足条件可以是：
	    (1) 误差小，即|d(n)-y(n)|<ε ；
	    (2) 权值变化小，即|w(n+1)-w(n)|<ε ；
	    (3) 超过设定的最大迭代次数。

算法代码：

#include <stdio.h>
#include <time.h>
#include <math.h>
#include <stdlib.h>

#define M 4
#define N 3
#define Max 10 // 最大次数
#define eps 1e-4

inline int hardlim(double a){ return (a>eps)?1:0; }


double x[M][N]={
		{1, 0, 0},
		{1, 0, 1},
		{1, 1, 0},
		{1, 1, 1}
};
double y[M]={0,1,1,1};
double w[N];

void begin()
{
	int i, j;

	printf("title: =====ANN==adline==与门实现=====\n");
	printf("\nbegin: \n");
	printf("	x[0]		x[1]		x[2]		y\n");
	for(i=0; i<M; ++i){
		for(j=0; j<N; ++j){
			printf("	%lf", x[i][j]);
		}printf("	%lf\n", y[i]);
	}
}

void train()
{
	int i, j, ok, tim, v;
	double e, d, sigma;

	printf("\n\ntrain: \n");
	srand(time(0));
	for(i=0; i<N; ++i){
		w[i]=rand()/(RAND_MAX+1.0);
	}

	printf("	e[0]		e[1]		e[2]		e[4]		ok\n");
	tim=0; v=1; // 学习速率
	while(1){
		ok=1;
		for(i=0; i<M; ++i){	
			sigma=0;
			for(j=0; j<N; ++j){
				sigma+=x[i][j]*w[j];
			}
			d=hardlim(sigma);
			e=y[i]-d;
			
			printf("	%lf ", e);
			if(fabs(e)>eps) ok=0;

			for(j=0; j<N; ++j){
				w[j]+=v*e*x[i][j];
			}
		}
		tim++;
		puts(ok?"	Y":"	N");
		if(ok || tim>Max) break;
	}
}

void test(){
	int i, j;
	double sigma;

	printf("\n\ntest: \n");
	printf("	x[0]		x[1]		x[2]		sigma		ans\n");
	for(i=0; i<M; ++i){
		sigma=0;
		for(j=0; j<N; ++j){
			printf("	%lf", x[i][j]);
			sigma+=x[i][j]*w[j];
		}
		printf("	%lf	", sigma);
		printf("%d\n", hardlim(sigma));
	}
	puts("==end==");
}

int main()
{
	begin();
	train();
	test();
	return 0;
}

运行结果：

title: =====ANN==adline==与门实现=====

begin:
        x[0]            x[1]            x[2]            y
        1.000000        0.000000        0.000000        0.000000
        1.000000        0.000000        1.000000        0.000000
        1.000000        1.000000        0.000000        0.000000
        1.000000        1.000000        1.000000        1.000000


train:
        e[0]            e[1]            e[2]            e[4]            ok
        -1.000000       0.000000        0.000000        0.000000        N
        0.000000        0.000000        0.000000        0.000000        Y


test:
        x[0]            x[1]            x[2]            sigma           ans
        1.000000        0.000000        0.000000        -0.434174       0
        1.000000        0.000000        1.000000        -0.284882       0
        1.000000        1.000000        0.000000        -0.069977       0
        1.000000        1.000000        1.000000        0.079315        1
==end==
Press any key to continue