暑期SMALE魔鬼训练day3

暑期SMALE魔鬼训练day2

上午：

1. 将向量下标为偶数的分量 $(x_2,x_4,\dots )$累加, 写出相应表达式.
   $$\sum _{i\mathrm{m}\mathrm{o}\mathrm{d}2=0}{x}_i$$
2. 各出一道累加、累乘、积分表达式的习题, 并给出标准答案.
   a)函数$f(x)=2x^2$在$x\in [1,15]$时的累加和
   $$\sum _{x\in [1,15]}2x^2$$

sum = 0
for x in range(1, 16):
    sum = sum + 2*x**2

b). 求取$x\in [1,100]$中的3的倍数累乘结果
A = { a ∈ [ 1 , 100 ] ∣ a m o d    3 = 0 } \mathbf{A} = \{a \in [1, 100] \vert a \mod 3 = 0\} A={a∈[1,100]∣amod3=0}
$$\prod _{a\in \mathbf{A}}a$$

product = 1
for a in range(1, 101):
    if a % 3 == 0:
        product *= a

c)求$f(x)=\sin (x)+x$在[3, 8]上的积分
$${\int }_3^8\sin (x)+x\mathrm{d}x$$

import numpy as np

x = np.linspace(3,8,10000)
y = np.sin(x) + x
dx = x[1] - x[0]                        #每个矩形的宽度
fArea = np.sum(y*dx)                    #矩形宽*高，再求和
print("Integral area:",fArea)

4. 给一个常用的定积分, 将手算结果与程序结果对比.
   $$f(x)={\int }_1^e\frac{1}{x}+1\mathrm{d}x$$
   手动计算：
   原函数为：
   $$g(x)=\mathrm{l}\mathrm{n}(x)+x$$
   带入上下限：
   $\mathrm{l}\mathrm{n}(e)+e-[\mathrm{l}\mathrm{n}(1)+1]=e$

代码

import numpy as np

x = np.linspace(1,np.e,10000)
y = 1/x + 1
dx = x[1] - x[0]                        #每个矩形的宽度
fArea = np.sum(y*dx)                    #矩形宽*高，再求和
print("Integral area:",fArea)
print('e:', np.e)

计算结果

下午：
自己写一个小例子 $(n=3,m=1)$来验证最小二乘法.

通过男性身高来大致估计体重

身高（cm）	体重(kg)
175	67
170	60
166	58

$\mathbf{X}$表示身高，$\mathbf{Y}$表示体重，$\mathbf{w}$表示权重
根据推导：$\mathbf{w}=({\mathbf{X}}^{\mathrm{T}}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\mathrm{T}}\mathbf{Y}$
$${\left(\left[\begin{array}{ccc}1& 1& 1\\ 175& 170& 166\end{array}\right]\times \left[\begin{array}{cc}1& 175\\ 1& 170\\ 1& 166\end{array}\right]\right)}^{-1}\times \left[\begin{array}{ccc}1& 1& 1\\ 175& 170& 166\end{array}\right]\times \left[\begin{array}{c}67\\ 60\\ 58\end{array}\right]$$
$$=\left[\begin{array}{c}-111.45901693\\ 1.01639344\end{array}\right]$$
将原来的数据带入
$175\times 1.01639344-111.45901693=66.4098$
$170\times 1.01639344-111.45901693=61.3278$
$166\times 1.01639344-111.45901693=57.2623$

晚上：
自己推导一遍, 并描述这个方法的特点 (不少于 5 条).
对于分类目标点 y i ∈ { 0 , 1 } y_i \in \{0, 1\} yi​∈{0,1},要找到一个超平面$w^{\mathrm{T}}x+b=0$使得$\mathbf{Y}$中的两类位于超平面的两侧。为了找到一个最优的平面，通过点到直线的距离来计算目标点与分类平面的关系。
$f(x)=w^{\mathrm{T}}x$此处的$w和x$是加上偏置$b$的 。由于点到超平面的距离可以取值到无穷大于是通过sigmoid函数将输出值压缩到（0， 1）之间，且可以将距离转化成概率。
$$P(y=1|\mathrm{x};\mathrm{w})=\frac{1}{1+e^{-\mathrm{w}\mathrm{x}}}$$
将上述式子写成一个通式
$$P(y_i|{\mathrm{x}}_i;\mathrm{w})=P(y_i=1|{\mathrm{x}}_i;\mathrm{w}{)}^{y_i}(1-P(y_i=0|{\mathrm{x}}_i;\mathrm{w}){)}^{1-y_i}$$
对于全体对象进行优化，可以将全部的输出概率相乘，来求得使之最大的参数$\mathrm{w}$
$$\underset{\mathrm{w}}{\mathrm{argmax}}\prod _{i=1}^{n}P(y_i|{\mathrm{x}}_i;\mathrm{w})$$
由于连乘很难计算，所以对式子两端同时取对数
$$\log L(\mathrm{w})=\sum _{i=1}^n\log P(y_i|{\mathrm{x}}_i;\mathrm{w})$$
$$=\sum _{i=1}^n{y}_i\log P(y_i=1|{\mathrm{x}}_i;\mathrm{w})+\log P(y_i=0|{\mathrm{x}}_i;\mathrm{w})-y_i\log P(y_i=0|{\mathrm{x}}_i;\mathrm{w})$$
带入sigmoid函数
$$=\sum _{i=1}^n{y}_i{\mathrm{x}}_i\mathrm{w}-\log (1+e^{{\mathrm{x}}_i\mathrm{w}})$$
最后通过梯度下降法求出$w$,第$t+1$轮迭代的值
$${\mathrm{w}}^{t+1}={\mathrm{w}}^t-\alpha \frac{\partial \log L(\mathrm{w})}{\partial \mathrm{w}}$$

特点：
1 适用于二分类问题，并且分类标签为0和1
2 分类器输出为正类或者负类的概率值
3 输出的概率大于0.5为正类小于0.5为负类
4 越是远离超平面输出的值越是接近0或1
5 求解参数矩阵时，不能通过令导数等于零的方法，只能用梯度下降法求解