数学表达式魔训day3

累加：
1.${\sum }_{x_i>0}{x}_i^2$的 Java 代码怎么写?

double sum=0;
for(int i=0;i<n;i++)
{
	if(x[i]>0)
		sum+=x[i]*x[i];
}

2.将矩阵中小于 1 的分量平方并累加, 数学表达式如何和 Java 代码分别怎么写?

double sum=0;
for(i=0;i<n;i++)
{
	for(j=0;j<m;j++)
	{
		if(x[i][j]<1)
			sum+=x[i][j]*x[i][j];
	}
}

定积分：
二重积分${\int }_0^{10}{\int }_{\frac{y}{2}}^{y}2x^{2}y+y^2\mathrm{d}x\mathrm{d}y$
java代码：

double integration = 0;
double deltax = 0.01;
double deltay = 0.01;
for (double y = 0; y <= 10; y += delta)
	for (double x = y/2; x <= y; x += delta)
		integeration += (2 * x * x * y + y * y) * deltax * deltay;

作业：

1.将向量下标为偶数的分量 $(x_2,x_4,\dots )$ 累加, 写出相应表达式.

答：$\sum _{i\mathrm{m}\mathrm{o}\mathrm{d}2=0}^n{x}_i=\sum _{i=1}^{\lfloor \frac{n}{2}\rfloor }{x}_{2i}$
java代码：

double sum=0;
for(int i=1;i<=n;i++)
{
	if(i%2==0)
		sum+=x[i];
}

2.各出一道累加、累乘、积分表达式的习题, 并给出标准答案.

答：$\mathbf{x}=(1,8,4,2,5)$
累加：$\sum _{i=1}^n{x}_i=1+8+4+2+5=20$
累乘：$\prod _{i=1}^n{x}_i=1\times 8\times 4\times 2\times 5=320$

定积分：$${\int }_2^{16}{\int }_{y+4}^{3y}(4xy+y^{2}x+2x+y)\mathrm{d}x\mathrm{d}y$$

double integration = 0;
double deltax = 0.01;
double deltay = 0.01;
for (int y = 2; y <= 16; y += delta)
	for (int x = y+4; x <= 3y; x += delta)
		integeration += (4 * x * y  + y * y*x+2*x+y) * deltax * deltay;

3.你使用过三重累加吗? 描述一下其应用.

答：三重累加应该可以用在多个矩阵与权重矩阵相乘再累加的时候。也可以说当多个矩阵累加时便可以用三重矩阵。
$\sum _{i=1}^n\sum _{j=1}^m{x}_{ij}$这个算式计算$n\times m$阶矩阵各元素之和，是一个二重累加。若有k个矩阵，${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_{\mathbf{k}}$且都是$n\times m$阶矩阵，则计算所有矩阵元素之和则可以用三重累加。

4.给一个常用的定积分, 将手算结果与程序结果对比.

答：$${\int }_3^6{\int }_{2x}^{4x}2y\mathrm{d}y\mathrm{d}x$$

double integration = 0;
			double deltax = 0.001;
			double deltay = 0.001;
			for (double x = 3; x <= 6; x += deltax)
				for (double y = 2*x; y <= 4*x; y+= deltay)
					integration += (2*y) * deltax * deltay;

手算结果为：756.
$${\int }_3^6{\int }_{2x}^{4x}2y\mathrm{d}y\mathrm{d}x={\int }_3^{6}12x^2\mathrm{d}x=4x^3{|}_3^6=756$$
当 deltax = 0.001，deltay = 0.001时，程序计算结果为：755.87.

5.自己写一个小例子$(n=3,m=1)$ 来验证最小二乘法.

答：取$\mathbf{X}=[5,16,24]$,$\mathbf{Y}=[4,17,24]$
令$y=a_0+a_1\times x$
误差: $\sum _{i=j=1}^3({\mathbf{Y}}_i-{\mathbf{Y}}_j{)}^2=(4-a_0-5a_1{)}^2+(17-a_0-5a_1{)}^2+(24-a_0-24a_1)$
$\frac{d}{d{a}_0}\sum _{i=j=1}^3({\mathbf{Y}}_i-{\mathbf{Y}}_j{)}^2=\cdots =0$,得$3a_0+45a_1=45$ (式1)
$\frac{d}{d{a}_1}\sum _{i=j=1}^3({\mathbf{Y}}_i-{\mathbf{Y}}_j{)}^2=\cdots =0$,得$45a_0+857a_1=868$（式2）
由式1和式2得$a_0=-0.91,a_1=1.06$
所以得出线性关系为： $y=1.06x-0.91$

6.自己推导一遍, 并描述这个方法的特点 (不少于 5 条).

答：自变量与超平面间的距离转化为概率$P(y_i|x_i;\mathbf{w})=\frac{1}{1+e^{-\mathbf{x}\mathbf{w}}}$.
统一$y_i$得到$P(y_i|x_i;\mathbf{w})=P(y_i=1|x_i;\mathbf{w}{)}^{y_i}(1-P(y_i=1|x_i;\mathbf{w}){)}^{1-y_i}$ .
针对全部对象进行优化, 可将相应的概率相乘 (最大似然, maximal likelihood):$\arg \max L(\mathbf{w})=\prod _{i=1}^{n}P(y_i|x_i;\mathbf{w})$
取对数方便计算，不改变单调性：
$\log L(\mathbf{w})=\sum _{i=1}^n\log P(y_i|x_i;\mathbf{w})$
$=\sum _{i=1}^n{y}_i\log P(y_i=1|x_i;\mathbf{w})+(1-y_i)\log (1-P(y_i=1|x_i;\mathbf{w}))$
$=\sum _{i=1}^n{y}_i\log \frac{P(y_i=1|x_i;\mathbf{w})}{1-P(y_i=1|x_i;\mathbf{w})}+\log (1-P(y_i=1|x_i;\mathbf{w}))$
$=\sum _{i=1}^n{y}_i{\mathbf{x}}_i\mathbf{w}-\log (1+e^{{\mathbf{x}}_i\mathbf{w}})$
对 $\mathbf{w}$求偏导
$\frac{\log L(\mathbf{w})}{\partial \mathbf{w}}=\sum _{i=1}^n{y}_i{\mathbf{x}}_i-\frac{e^{{\mathbf{x}}_i\mathbf{w}}}{1+{\mathbf{x}}_i\mathbf{w}}{\mathbf{x}}_i$
$=\sum _{i=1}^n\left(y_i-\frac{e^{{\mathbf{x}}_i\mathbf{w}}}{1+{\mathbf{x}}_i\mathbf{w}}\right){\mathbf{x}}_i$
用梯度下降求解
${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \frac{\log L(\mathbf{w})}{\partial \mathbf{w}}$
特点：

• 在 m 维空间上,m维向量 $\mathbf{w}$确定了一条直线. 为方便起见, 令 $\mathbf{w}$ 为列向量. 点$\mathbf{x}$ 与 $\mathbf{w}$ 的距离为 $\mathbf{x}\mathbf{w}$.
• logistic回归的因变量可以是二分类的，也可以是多分类的.
• 如果正确分类, 则离超平面越远越好; 如果错误分类, 则离超平面越近越好.
• 使用 sigmoid 函数(常用)将自变量到超平面的距离转成 (我们以为的) 概率.
• 概率$P(y_i|x_i;\mathbf{w})=P(y_i=1|x_i;\mathbf{w}{)}^{y_i}(1-P(y_i=1|x_i;\mathbf{w}){)}^{1-y_i}$ 将$y_i=1$和$y_i=0$都包含到式子.
• 对 $\mathbf{w}$求偏导，令其为0，无法获得解析式，所以用梯度下降法求.