【魔训】数学表达式: 从恐惧到单挑系列作业第3天

首先给出闵老师的课程链接：https://blog.csdn.net/minfanphd/category_11236630.html

---

第三天（7月28日，对应老师8-10节）

8.4
1.将向量下标为偶数的分量 (x2, x4, …) 累加, 写出相应表达式.
2.各出一道累加、累乘、积分表达式的习题, 并给出标准答案.
3.你使用过三重累加吗? 描述一下其应用.
4.给一个常用的定积分, 将手算结果与程序结果对比.

答：1.
$$sum=\sum _{i=1}^n{x}_{2i}$$
java代码如下(和表达式在计数上不是一一对应的)：

 int sum = 0;
 for (int i=2; i<n; i+=2){
 	sum += x[i];
 }

2. $$\sum _{i=1}^{4}2i=2+4+6+8=20$$
   $$\prod _{i=1}^{4}2i=2\ast 4\ast 6\ast 8=384$$
   $${\int }_1^{4}2x\mathrm{d}x=x^2{|}_1^4=16-1=15$$
3. 三重定积分在用计算机直接求解的时候即可以被认为三重累加。形如求圆柱体的体积时，我们可以按圆柱体的高切成i层，然后针对每一层的圆，讲圆以虚拟坐标轴为基础分割成若干可以近似相等的小块，求该圆面面积时，则可以遍历x,y坐标，即能形成三重累加。
4. $${\int }_1^{4}2x\mathrm{d}x=x^2{|}_1^4=16-1=15$$

java代码（输出15.004999999999006）如下：

double delta = 0.001;
double result = 0;
for (double i = 1; i <= 4; i+=delta) {
    result += i * 2 * delta;
}
System.out.println(result);  \\ output 15.004999999999006

9.4 自己写一个小例子 ($n$=3,$m$=2) 来验证最小二乘法.

答：

时间（天）	降雨量	禾苗高度（cm）
1	10	1
2	23	3
3	15	4
4	20	?

令
$$\mathbf{X}=\left[\begin{array}{cc}1& 10\\ 2& 23\\ 3& 15\end{array}\right],\mathbf{Y}=\left[\begin{array}{c}1\\ 3\\ 4\end{array}\right],\mathbf{w}=[w_{ij}{]}_{2\times 1}$$
可得：
$${\mathbf{X}}^{\mathrm{T}}=\left[\begin{array}{ccc}1& 2& 3\\ 10& 23& 15\end{array}\right]$$
所以
$$\begin{gathered} \mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y} \\ ={\left[\begin{array}{cc}14& 101\\ 101& 854\end{array}\right]}^{-1}\left[\begin{array}{ccc}1& 2& 3\\ 10& 23& 15\end{array}\right]\left[\begin{array}{c}1\\ 3\\ 4\end{array}\right] \\ =\left[\begin{array}{cc}0.4866& -0.0575\\ -0.0575& -0.0080\end{array}\right]\left[\begin{array}{ccc}1& 2& 3\\ 10& 23& 15\end{array}\right]\left[\begin{array}{c}1\\ 3\\ 4\end{array}\right] \\ =\left[\begin{array}{c}1.2462\\ 0.0154\end{array}\right] \end{gathered}$$
针对第4条数据的预测值
$${\mathbf{y}}_4=4\ast 1.2462+20\ast 0.0154=5.2928$$
对于前三条数据进行验算，基本符合原数据：
$$\begin{gathered} {\mathbf{y}}_1=1\ast 1.2462+10\ast 0.0154=1.4002 \\ {\mathbf{y}}_2=2\ast 1.2462+23\ast 0.0154=2.8466 \\ {\mathbf{y}}_3=3\ast 1.2462+15\ast 0.0154=3.9696 \end{gathered}$$

10.6 自己推导一遍, 并描述这个方法的特点 (不少于 5 条).

答：Logistic 回归尤其适合二分类问题，超平面用于分割实例集的正负样本，而超平面的计算过程中常使用单个样本距离超平面的距离作为优化依据。针对每一个样本，都存在一个和超平面的距离。根据样本是否被正确划分，距离可以被表示在区间为$(-\infty ,+\infty )$内，其中正的距离表示样本被正确划分，负的距离样本没有被正确划分。而距离的绝对值则是样本距离超平面的数值距离。

一种分类依据是：如果正确分类, 则离超平面越远越好，即距离越远，正确分类的概率越大; 如果错误分类, 则离超平面越近越好，错误分类越远时，表示该样本是正确分类的概率几乎为0。为了将上述说法公式化，引入sigmoid 函数进行上述转化。
概率.
$$P(y=1|\mathbf{x};\mathbf{w})=\frac{1}{1+e^{-\mathbf{x}\mathbf{w}}}\text{\hspace{1em}(1)}$$
其中$\mathbf{x}\mathbf{w}$能表示样本距离超平面的距离。具体推导见：距离推导

针对于二分类问题，样本只有正负样本之分，如果正样本输出为1，负样本输出为0，则任意一个实例都可以表示为：
$$P(y_i|{\mathbf{x}}_i;\mathbf{w})=P(y_i=1|{\mathbf{x}}_i;\mathbf{w}{)}^{y_i}(1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w}){)}^{1-y_i}\text{\hspace{1em}(2)}$$
注意此式，其实是对每个样本的综合表示方法。
当样本为正样本时，因为$y=1$,上式转化为：
$$P(y_i|{\mathbf{x}}_i;\mathbf{w})=P(y_i=1|{\mathbf{x}}_i;\mathbf{w})\text{\hspace{1em}(2-1)}$$
当样本为负样本时，因为$y=0$,上式转化为：
$$P(y_i|{\mathbf{x}}_i;\mathbf{w})=(1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w}))\text{\hspace{1em}(2-2)}$$

为了使模型最优，则上述概率越大越好，同时满足下式：
$$\underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=\prod _{i=1}^{n}P(y_i|{\mathbf{x}}_i;\mathbf{w})\text{\hspace{1em}(3)}$$

但该式不好计算，可以通过取log转化为加法运算：

$$\begin{array}{rl}\log L(\mathbf{w})& =\sum _{i=1}^n\log P(y_i|\mathbf{x}i;\mathbf{w})\\ & =\sum _{i=1}^n{y}_i\log P(y_i=1|{\mathbf{x}}_i;\mathbf{w})+(1-y_i)\log (1-P(y_i=1|\mathbf{x}i;\mathbf{w}))\\ & =\sum _{i=1}^n{y}_i\log \frac{P(y_i=1|{\mathbf{x}}_i;\mathbf{w})}{1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w})}+\log (1-P(y_i=1|\mathbf{x}i;\mathbf{w}))\\ & =\sum _{i=1}^n{y}_i{\mathbf{x}}_i\mathbf{w}-\log (1+e^{{\mathbf{x}}_i\mathbf{w}})\end{array}\text{\hspace{1em}(4)}$$

式(3)的最优解模型就转化为求式（4）的凸函数位置了。一般的计算式令式子的导数为0，并求取此时的$\mathbf{w}$。所以上式对$\mathbf{w}$求偏导：
$$\begin{array}{rl}\frac{\partial \log L(\mathbf{w})}{\partial \mathbf{w}}& =\sum _{i=1}^n{y}_i{\mathbf{x}}_i-\frac{e^{{\mathbf{x}}_i\mathbf{w}}}{1+e^{{\mathbf{x}}_i\mathbf{w}}}\mathbf{x}i\\ & =\sum _{i=1}^n\left(y_i-\frac{e^{{\mathbf{x}}_i\mathbf{w}}}{1+e^{{\mathbf{x}}_i\mathbf{w}}}\right){\mathbf{x}}_i\end{array}\text{\hspace{1em}(5)}$$
而此式子为0不能直接求解，所以根据下式所述的梯度下降进行求解：
$${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \frac{\partial \log L(\mathbf{w})}{\partial \mathbf{w}}\text{\hspace{1em}(6)}$$

---

该方法特点有：

• 将距离转化为概率，式（1）；
• 用式（2）综合表示了所有样本的概率；
• 用式（3）表示了模型最优时的表达式；
• 用式（4）对不好求的式（3）进行了转化；
• 用式（5）通过求凸点，来获取模型理论上的最优解数值计算；
• 用式（6）通过近似的方式实际求解式（5）中的数值。