2021夏魔训作业 第三天 2021-07-28

累加、累乘与积分

1. 将向量下标为偶数的分量 (x2, x4, …) 累加, 写出相应表达式.
   $表达式为：\sum _{\left(i=1andi\mathrm{m}\mathrm{o}\mathrm{d}2=0\right)}^n{x}_i$
2. 各出一道累加、累乘、积分表达式的习题, 并给出标准答案.
   $\sum _{i=1}^{100}i=1+2+\cdots +100=5050$

        int sum = 0;
        for (int i = 1; i <= 100; i++){
            sum += i;
        }

$\prod _{i=1}^{10}i=1\ast 2\ast \cdots \ast 10=3628800$

        int sum = 1;
        for (int i = 1; i <= 100; i++){
            sum += i;
        }

${\int }_1^{10}\left(x^3+x^2+\frac{1}{x}+1\right)\mathbf{d}x=2844.6051614259272$

        double integration = 0;
        double delta = 0.001;
        for (double x = 1; x <= 10; x += delta){
            integration += (x * x * x + x * x + (1 / x) + 1) * delta;
        }

3. 你使用过三重累加吗? 描述一下其应用.
   写Demo写过两次，二重累加一般是对二维矩阵进行一定的操作，三重累加可以应用在由二维矩阵作为单个元素组成一系列以为矩阵进行操作时使用。
4. 给一个常用的定积分, 将手算结果与程序结果对比.
   $$\begin{gathered} {\int }_0^{1}x\mathbf{d}x,使用代码计算时，结果为:0.4950000000000004 \\ 手动计算时，{\int }_0^{1}x\mathbf{d}x=\frac{1}{2}{x}^2{|}_0^1=\frac{1}{2}=0.5,代码如下: \end{gathered}$$

        double integration = 0;
        double delta = 0.01;
        for (double x = 0; x <= 1; x += delta){
            integration += x * delta;
        }

5. 自己写一个小例子 $(n=3,m=1)$来验证最小二乘法.
   $defi:函数表示为:\underset{\overrightarrow{b}}{\min }\sum _{i=1}^n{\left(y_m-y_i\right)}^2，b为系数矩阵，y_m为观测值，y_i为理论值，其中规则如下：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。$

天数	股价
1	2
2	5
3	4

可以得出，如下二元一次方程：
$\{\begin{array}{l}2=b_0\times 1+b1\\ 5=b_0\times 2+b1\\ 4=b_0\times 3+b1\end{array},此时令天数组成的矩阵为t，股价组成的矩阵为y，那么要求的参数矩阵b=\underset{b_0,b_1}{\min }{\Vert \left(\begin{array}{ccc}{t}_1& & 1\\ t_2& & 1\\ ⋮& & ⋮\\ t_n& & 1\end{array}\right)\left(\begin{array}{c}{b}_0\\ b_1\end{array}\right)-\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)\Vert }_2,解的b_0=1,b_1=\frac{5}{3},y=x+\frac{5}{3}$

6. 自己推导一遍, 并描述Logistic 回归的特点 (不少于 5 条).
   1). 可用于分类，其中多分类可以划分为二分类。
   2).激活函数为较常用的Sigmoid,(还包括tanh,ReLU,LeakyReLU, PReLU（Parametric Relu）, RReLU)
   3).在无法获得解析解式时，采用了梯度下降，寻找局部最优解。(线性回归问题在求偏导时在一定条件下可以得到解析式)
   4).在累乘时，避免算出的数据过大，采用了求对数的方法，使数据变小便于计算。也可以采用累加的方法。
   5). 这里的分类是根据算出的划分超平面/线，计算离平面的距离，得出概率。

线性回归公式推导：

背景： 在一些情况下，输出值$y$与输入值$x$存在一些线性关系，通过一定的训练，可以得到一个代价函数来确定$y$与$x$的关系。
参数：设$x$一共有$n$个属性，$x^{(i)}=\left[\begin{array}{c}{x}_1^{(i)}\\ x_2^{(i)}\\ ⋮\\ x_n^{(i)}\end{array}\right]$，完整的输入值$x$就是一个$n\times m$的矩阵，$\theta =\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\right]$表示未知参数，$y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$表示输出值。可得线性关系：$y^{(i)}={\theta }^{\top }{x}^{(i)}+{ϵ}^{(i)}$。其中${ϵ}^{(i)}$是截距(误差项)。
又$$p({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
$$y^{(i)}={\theta }^{\top }{x}^{(i)}+{ϵ}^{(i)}$$,代入上式
$$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
希望得到的概率最大，使用到了最大似然估计：
$$L(\theta )=\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\right)$$
由于连乘的结果过大，对数的单调性，对两边进行取对数：
$$\begin{gathered} \ell (\theta )=logL(\theta ) \\ =log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\right) \\ =\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi }\sigma }exp\left(-\frac{(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2}{2{\sigma }^2}\right) \\ =mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2 \end{gathered}$$,前部分为常数，即只需使$$-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2$$最小即可。则代价函数$$J(\theta )=\sum _{i=1}^m(y^{(i)}-{\theta }^{\top }{x}^{(i)}{)}^2$$,对其求导为：$${\nabla }_{\theta }J(\theta )=\left[\begin{array}{c}\frac{\partial J(\theta )}{\partial {\theta }_1}\\ \frac{\partial J(\theta )}{\partial {\theta }_2}\\ ⋮\\ \frac{\partial J(\theta )}{\partial {\theta }_j}\end{array}\right]$$,则得到:$$\begin{gathered} \frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{\partial \frac{1}{2}{\sum }_i{\left({\sum }_j{\theta }_j{x}_j^{(i)}-y^{(i)}\right)}^2}{\partial {\theta }_j}{x}_j^{(i)} \\ =\sum _i\left(\sum _j{\theta }_j{x}_j^{(i)}-y^{(i)}\right)x_j^{(i)} \\ =\sum _i{x}_j^{(i)}\left({\theta }^T{x}^{(i)}-y^{(i)}\right) \end{gathered}$$

Logistic回归公式推导：

引入sigmoid 函数：$f(x)=\frac{1}{1+e^{-x}}$,将变量映射在$(0,1)$之间。用$x,\theta$构成sigmoid函数的输入，则$h_{\theta }\left(x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$,当$y$取$0$或$1$时，对应的概率函数为：
$$P(y^{(i)}=1|x^{(i)};\theta )=h_{\theta }(x^{(i)}),P(y^{(i)}=0|x^{(i)};\theta )=1-h_{\theta }(x^{(i)})$$
则对于某一个概率：$$P(y^{(i)}|x^{(i)};\theta )=(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}$$，似然函数$L(\theta )$为：
$$L(\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^i}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}$$,两边取对数，$$\begin{gathered} \ell (\theta )=\log L(\theta ) \\ =\log \left(\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^i}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\right) \\ =\sum _{i=1}^m\left(\log h_{\theta }(x^{(i)}{)}^{y^{(i)}}+\log (1-h_{\theta }(x^{(i)}){)}^{(1-y^{(i)})}\right) \\ =\sum _{i=1}^m\left(y^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\right) \end{gathered}$$,则代价函数为：
$$J(\theta )=-\sum _{i=1}^m\left(y^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\right)$$,对$$h_{\theta }\left(x^{(i)}\right)=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}$$求偏导，
$$\begin{gathered} \frac{\partial h_{\theta }\left(x^{(i)}\right)}{\partial {\theta }_j}=\frac{e^{-{\theta }^T{x}^{(i)}}{x}_j^{(i)}}{{\left(1+e^{-{\theta }^T{x}^{(i)}}\right)}^2} \\ \frac{1-\partial h_{\theta }\left(x^{(i)}\right)}{\partial {\theta }_j}=-\frac{e^{-{\theta }^T{x}^{(i)}}{x}_j^{(i)}}{{\left(1+e^{-{\theta }^T{x}^{(i)}}\right)}^2} \end{gathered}$$，对代价函数关于$\theta$求偏导，$$\begin{gathered} \frac{\partial J(\theta )}{\partial {\theta }_j}=-\sum _i\left[y^{(i)}\frac{e^{-{\theta }^T{x}^{(i)}}{x}_j^{(i)}}{1+e^{-{\theta }^T{x}^{(i)}}}-(1-y^{(i)})x_j^{(i)}\right] \\ =-\left[y^{(i)}\frac{e^{-{\theta }^T{x}^{(i)}}}{1+e^{-{\theta }^T{x}^{(i)}}}{x}_j^{(i)}-\frac{x_j^{(i)}}{1+e^{-{\theta }^T{x}^{(i)}}}+y^{(i)}\frac{x_j^{(i)}}{1+e^{-{\theta }^T{x}^{(i)}}}\right] \\ =-\sum _i{x}_j^{(i)}\left(-\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}+y^{(i)}\right) \\ =x_j^{(i)}\sum _i\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right) \end{gathered}$$,矩阵转置形式为：
$${\nabla }_{\theta }J(\theta )=\left[\begin{array}{c}\frac{\partial J(\theta )}{\partial {\theta }_1}\\ \frac{\partial J(\theta )}{\partial {\theta }_2}\\ ⋮\\ \frac{\partial J(\theta )}{\partial {\theta }_n}\end{array}\right]=\sum _i{x}^{(i)}\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)$$