PTA 4-7-7 Sigmoid函数及其梯度 (35 分)

**

4-7-7 Sigmoid函数及其梯度 (35 分)

**
为了方便表述，对于作用于矩阵的激活函数，本文中如果无特殊说明，表示它分别作用于矩阵的每个元素，即f(X)i,j=f(Xi,j)。
如果没有非线性函数作为激活函数，那么无论多层感知机(MLP)有多少层，都相当于没有隐藏层。比如，具有一个隐藏层的多层感知机y=f2(f1(X×A)×B)，如果f1(x)=kx+b，即它是一个线性函数，我们将其带入公式中可以得到y=f2((kX×A+b×1)×B)=f2(kX×A×B+b×1×B)，其中1表示所有元素都是1的矩阵。令C=kA×B，c¯=b×1×B，那么y=f2(X×C+c¯)，显然又变成了单层神经网络，网络的表达能力被大大的削弱了，由此可见非线性激活函数对于神经网络的重要性。
最经典的激活函数莫过于Sigmoid函数σ(x)=1/(1+exp(−x))，它在x=0附近从0到1剧烈变化，通常用于0-1分类任务。它的导函数也十分容易求得，请你自己推导。

Sigmoid函数图形，来自Wikipedia - Sigmoid function
现在给出矩阵A∈Rm×n和矩阵B∈Rn×p，记它们的积为C=AB，求σ©以及它分别对C、A、B的梯度∇Cσ、∇Aσ、∇Bσ。
输入格式:
第一行给出三个整数m,n和p，均不大于102。然后跟随着一个空行。
随后m行以行主序给出矩阵A中的元素，每行n个元素，元素间用空格分隔。然后跟随着一个空行。
随后n行以行主序给出矩阵B中的元素，每行p个元素，元素间用空格分隔。
输出格式:
首先输出作用Sigmoid函数后的乘积矩阵σ©，共m行，每行p个元素， 每个元素间后都紧随着一个空格，每行以换行结尾。最后额外输出一个空行。
然后输出矩阵∇Cσ，共m行，每行p个元素， 每个元素间后都紧随着一个空格，每行以换行结尾。最后额外输出一个空行。
接着输出矩阵∇Aσ，共m行，每行n个元素， 每个元素间后都紧随着一个空格，每行以换行结尾。最后额外输出一个空行。
最后输出矩阵∇Bσ，共n行，每行p个元素， 每个元素间后都紧随着一个空格，每行以换行结尾。最后额外输出一个空行。
输出元素均保留小数点后2位。

输入样例:

2 2 3

0.1 0.2
-0.3 0.4

1 2 3
3 2 1

输出样例:

0.67 0.65 0.62 
0.71 0.55 0.38 

0.22 0.23 0.24 
0.21 0.25 0.24 

1.38 1.36 
1.41 1.35 

-0.04 -0.05 -0.05 
0.13 0.14 0.14 

代码(C++):

#include <iostream>
#include <iomanip>
#include <math.h>
using namespace std;
double **MatrixTranspose(double **a, int m, int n) {		//矩阵转置
	double **x;
	x = new double*[n];							//分配行储存空间
	for (int i = 0; i < n; i++) {
		*(x + i) = new double[m];				//分配列储存空间
	}
	for (int i = 0; i < m; i++) {
		for (int j = 0; j < n; j++) {
			//cout << "a[" << i << "][" << j << "]" << a[i][j] << " ";
			x[j][i] = a[i][j];
		}
	}
	cout << endl;
	return x;
}

double **MatrixMultiplication(double **a, double **b, int m, int n, int p) {	//矩阵乘法
	//第一个矩阵m * n   第二个矩阵   n*p		结果  m*p
	double **x;

	x = new double*[m];							//分配行储存空间
	for (int i = 0; i < m; i++) {
		*(x + i) = new double[p];				//分配列储存空间
	}

	double sum = 0;
	for (int i = 0; i < m; i++) {				//控制行
		for (int k = 0; k < p; k++) {			//控制列
			sum = 0;
			for (int j = 0; j < n; j++) {		//运算部
				//cout << "a[" << i << "][" << j << "]" << a[i][j] << " ";
				//cout << "b[" << j << "][" << k << "]" << b[j][k] << " ";
				sum = sum + a[i][j] * b[j][k];
			}
			x[i][k] = sum;
			//cout << x[i][k]<<endl;
		}
	}
	return x;
}

double **Derivation(double **a, int m, int n) {		//激活函数Sigmoid的导数代入
	double **x;
	x = new double*[m];									//分配行储存空间
	for (int i = 0; i < m; i++) {
		*(x + i) = new double[n];						//分配列储存空间
		for (int j = 0; j < n; j++) {
			double t = 1.0 / (1 + exp(-a[i][j]));		//Sigmoid函数σ(x)= 1.0/(1+exp(-x))		exp(-x) => e的-x次方
			x[i][j] = t * (1 - t);						//Sigmoid函数的导数= σ(x)*(1-σ(x))
		}
	}
	return x;
}

double **Gradient(double **a, int m, int n) {
	double **x;
	x = new double*[m];									//分配行储存空间
	for (int i = 0; i < m; i++) {
		*(x + i) = new double[n];						//分配列储存空间
		for (int j = 0; j < n; j++) {
			x[i][j] = 1.0 / (1 + exp(-a[i][j]));		//Sigmoid函数σ(x)= 1.0/(1+exp(-x))		exp(-x) => e的-x次方
		}
	}
	return x;
}


int main()
{

	int m, n, p;
	cin >> m >> n >> p;									//存入m,n,p
	double **a, **b, **c, **d;							//a(大小) : m x n      b(大小) : n x p    c =  a x b (大小) : m x p    d是c带入激活函数后的矩阵

	a = new double*[m];									//分配行储存空间
	for (int i = 0; i < m; i++) {
		*(a + i) = new double[n];						//分配列储存空间
		for (int j = 0; j < n; j++) {
			cin >> a[i][j];								//存入a矩阵
		}
	}

	b = new double*[n];									//分配行储存空间
	for (int i = 0; i < n; i++) {
		*(b + i) = new double[p];						//分配列储存空间
		for (int j = 0; j < p; j++) {
			cin >> b[i][j];								//存入b矩阵
		}
	}



	c = MatrixMultiplication(a, b, m, n, p);								//c = a x b  矩阵乘法
	d = Gradient(c, m, p);													//d  =  Sigmoid函数σ(x)= 1.0/(1+exp(-x))   将c矩阵的每一个值代入计算
	for (int i = 0; i < m; i++) {
		for (int j = 0; j < p; j++) {
			cout << fixed << setprecision(2) << d[i][j] << " ";				//输出运算结果
		}cout << endl;
	}

	cout << endl;


	double **cD = Derivation(c, m, p);										//计算c的梯度  =>   将c的值带入 Sigmoid函数的导函数中
	for (int i = 0; i < m; i++) {
		for (int j = 0; j < p; j++) {
			cout << fixed << setprecision(2) << cD[i][j] << " ";			//输出运算结果
		}cout << endl;
	}


	double **bT = MatrixTranspose(b, n, p);									//b的转置
	double **dbT = MatrixMultiplication(cD, bT, m, p, n);					//σ(C)对a的梯度等于 = σ(C)*b的转置(参考PTA4-7-5题)
	for (int i = 0; i < m; i++) {
		for (int j = 0; j < n; j++) {
			cout << fixed << setprecision(2) << dbT[i][j] << " ";			//输出运算结果
		}cout << endl;
	}


	double **aT = MatrixTranspose(a, m, n);									//b的转置
	double **daT = MatrixMultiplication(aT, cD, n, m , p);					//σ(C)对b的梯度等于 = σ(C)*a的转置(参考PTA4-7-5题)
	for (int i = 0; i < n; i++) {
		for (int j = 0; j < p; j++) {
			cout << fixed << setprecision(2) << daT[i][j] << " ";			//输出运算结果
		}cout << endl;
	}
}