2021/07/28-第三天作业

1. 将向量下标为偶数的分量 $(x_2,x_4,\dots )$ 累加, 写出相应表达式.

答：表达式可以写为 ${\sum }_{i\mathrm{m}\mathrm{o}\mathrm{d}2=0}{x}_i$，或${\sum }_{i=1}^{\lfloor n/2\rfloor }{x}_{2i}$.
 

2. 各出一道累加、累乘、积分表达式的习题, 并给出标准答案.

答：给定一个向量 $\mathbf{X}=(x_1,x_2,\dots ,x_n)$，求下标属于3到97的分量的和与乘积。
累加：${\sum }_{i=3}^{97}{x}_i$，累乘：${\prod }_{i=3}^{97}{x}_i$.
给定一个函数 $f(x)=x^2$，给出其在 $[1,7]$ 上的积分表达式。
积分表达式：${\int }_1^7{x}^2\mathrm{d}x$.

3. 你使用过三重累加吗? 描述一下其应用.

答：三重累加可以使用在，计算多个矩阵内部元素之和。
 

4. 给一个常用的定积分, 将手算结果与程序结果对比.

答：一个常用定积分，${\int }_0^{1}r\sqrt{1-r^2}\mathrm{d}r=\frac{1}{3}$.
使用计算机计算上述定积分，代码如下，

double sum=0;
double deleta=0.01;
for(double i=0;i<1;i+=deleta)
	sum+=deleta*(i*sqrt(1-i*i));

计算结果为0.33303145522214295，与实际结果很接近。
 

5. 自己写一个小例子来验证最小二乘法.

答：给定数据，

时间(天)	数量(个)
1	3
2	4

令 $\mathbf{X}=\left[\begin{array}{cc}1& 1\\ 1& 2\end{array}\right]$，$\mathbf{Y}=[3,4{]}^{\mathrm{T}}$，$\mathbf{w}=[w_0,w_1]$，求$\underset{\mathbf{w}}{\mathrm{argmin}}||\mathbf{X}\mathbf{w}-\mathbf{Y}|{|}_2^2$。
根据 $\mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$， 可求得 $\mathbf{x}=[2,1]$，其函数为 $f(x)=x+2$，满足原数据。
 

6. 写出 $\mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}){\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$ 的推导过程.

$\begin{array}{rl}\Vert \mathbf{X}\mathbf{w}-\mathbf{Y}{\Vert }_2^2& =(\mathbf{X}\mathbf{w}-\mathbf{Y}{)}^{\mathrm{T}}(\mathbf{X}\mathbf{w}-\mathbf{Y})\\ & =({\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}-{\mathbf{Y}}^{\mathrm{T}})(\mathbf{X}\mathbf{w}-\mathbf{Y})\\ & ={\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}-{\mathbf{Y}}^{\mathrm{T}}\mathbf{X}\mathbf{w}+{\mathbf{Y}}^{\mathrm{T}}\mathbf{Y}\end{array}$.
对上式进行求导，求导法则如下，

求导结果为 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}+{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}-{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}+0=2{\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-2{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$，令其等于 $0$ 有 ${\mathbf{X}}^{\mathrm{T}}\mathbf{X}\mathbf{w}-{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$，转换一下为 $\mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}){\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$。
 

7. 自己推导一遍, 并描述这个方法的特点 (不少于 5 条).

答：特点 1）将 $\mathbf{x}$ 做为参数放入 sigmoid 函数中，使用 sigmoid 函数将距离转成概率，$P(y=1|\mathbf{x};\mathbf{w})=\frac{1}{1+e^{-\mathbf{x}\mathbf{w}}}$.
2）使用一个式子 $P(y_i=1|{\mathbf{x}}_i;\mathbf{w})=P(y_i=1|{\mathbf{x}}_i;\mathbf{w}{)}^{y_i}(1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w}){)}^{1-y_i}$ 表示 $0$ 或 $1$ 两种情况的概率。
3）采用概率相乘的方式，对全部对象进行优化，$\underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})={\prod }_{i=1}^{n}P(y_i|{\mathbf{x}}_i;\mathbf{w})$.
4）使用 $\log$ 将相乘转化为相加问题，$\log L(\mathbf{w})={\sum }_{i=1}^n\log P(y_i|{\mathbf{x}}_i;\mathbf{w})$.
5）使用梯度下降求解 $\mathbf{w}$，${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \frac{\partial \log L(\mathbf{w})}{\partial \mathbf{w}}$.

​