2021-07-28

---

一、上午

1.将向量下标为偶数的分量$(x_2,x_4,\dots )$累加，写出相应的表达式。
表达式为${\sum }_{i\%2=0}{x}_i$
2.各出一道累加、累乘、积分表达式的习惯，并给出标准答案。
向量 X = { x 1 , … , x n } \mathbf{X}=\{x_1,\dots,x_n\} X={x1​,…,xn​}求下标小于10的分量的和与积。
累加：${\sum }_{i=1}^{10}{x}_i$
累乘：${\prod }_{i=1}^{10}{x}_i$
函数$f(x)=x^2+1$,写出其在$[-2,2]$的积分表达式${\int }_{-2}^2(x^2+1)\mathrm{d}x$
3.给一个常用的定积分，将手算结果与程序结果对比。
常用定积分，${\int }_0^{1}x\mathrm{d}x=0.5$

public static void main(String[] args) {
    double sum=0;
    double deleta=0.01;
    for (double i=0;i<1;i=i+deleta){
        sum+=i*deleta;
    }
    System.out.println("sum="+sum);
    }

运行结果

exclude patterns:
sum=0.4950000000000004

结果没有太大差距

二、下午

1.自己写一个小例子来验证最小二乘法。

时间	数量
2	4
3	5

这里的$x_i$可以表示为$\mathbf{X}=[x_{ij}{]}_{2\times 2}$
$$\left[\begin{array}{cc}1& 2\\ 1& 3\end{array}\right]$$
$y_i$表示为$\mathbf{Y}={\left[\begin{array}{cc}4& 5\end{array}\right]}^{\mathrm{T}}$
$\mathbf{w}=[a,b]$
求：
$\arg \min ||{\mathbf{X}}_{\mathbf{w}}-\mathbf{Y}|{|}_2^2$
当$\mathbf{w}=[2,1]$时$||{\mathbf{X}}_{\mathbf{w}}-\mathbf{Y}|{|}_2^2$最小，因此得$\mathbf{w}$

三、晚上

1.推导
$\begin{array}{r}\log L(\mathbf{w})=\sum _{i=1}^n\log P(y_i|\mathbf{x}i;\mathbf{w})\\ =\sum _{i=1}^n{y}_i\log P(y_i=1|{\mathbf{x}}_i;\mathbf{w})+(1-y_i)\log (1-P(y_i=1|\mathbf{x}i;\mathbf{w}))\\ =\sum _{i=1}^n{y}_i\log \frac{P(y_i=1|{\mathbf{x}}_i;\mathbf{w})}{1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w})}+\log (1-P(y_i=1|\mathbf{x}i;\mathbf{w}))\\ =\sum _{i=1}^n{y}_i{\mathbf{x}}_i\mathbf{w}-\log (1+e^{{\mathbf{x}}_i\mathbf{w}})\end{array}$
求$\begin{array}{r}\frac{\partial \log L(\mathbf{w})}{\partial \mathbf{w}}\end{array}$

$\begin{array}{r}\frac{\partial (y_i{\mathbf{x}}_i\mathbf{w})}{\partial \mathbf{w}}=y_i{\mathbf{x}}_i\end{array}$
$\begin{array}{r}\frac{\partial (\log (1+e^{{\mathbf{x}}_i\mathbf{w}}))}{\partial \mathbf{w}}=\frac{1}{(1+e^{{\mathbf{x}}_i\mathbf{w}})}\end{array}\times \frac{\partial (e^{{\mathbf{x}}_i\mathbf{w}})}{\partial \mathbf{w}}$
2.特点
用于分类(特别是二分类).
运用到了点与直线的距离.
用到了激活函数，比如sigmoid，当前还可以用其它的激活函数.
用到了最大似然.
用到了向量的偏导
用到了梯度下降