1.最小二乘法
最小二乘法的定义
简单的定义：有一个点集，在坐标轴上可以用一条直线
f
(
t
)
=
a
t
+
b
f(t)=at+b
f(t)=at+b 来进行拟合。通过点集上的点到直线的距离最小的和：
M
=
∑
i
=
0
n
∣
y
i
−
f
(
t
i
)
∣
M=\sum\limits^n_{i=0} {|y_i-f(t_i)|}
M=i=0∑n∣yi−f(ti)∣
来确定这条直线是否为最合适的。
这种根据偏差的平方和为最小的条件来选择常数a、b的方法就做最小二乘法。
多元函数的极值及其求法
设函数
z
=
f
(
x
,
y
)
z=f(x,y)
z=f(x,y) 在点
(
x
0
,
y
0
)
(x_0,y_0)
(x0,y0) 具有偏导数，且在点$ (x_0,y_0)$处有极值，则有
f
x
(
x
0
,
y
0
)
=
0
,
f
y
(
x
0
,
y
0
)
=
0
f_x(x_0,y_0)=0, f_y(x_0,y_0)=0
fx(x0,y0)=0,fy(x0,y0)=0
最小二乘法的求解方法
把上述的求和函数看成与自变量a和b相对应的因变量，可以归结为函数
$ M=M(a,b)$
要求得M的最小值
可以通过以下的方程组进行求解a,b
\begin{cases}
M_a(a,b)=0,\
M_b(a,b)=0
\end{cases}
求得 a和b的值，就可以得到一个经验公式进行值的估计。
2.全概率公式
全概率公式的条件：
设
B
1
,
B
2
,
.
.
.
B_1,B_2,...
B1,B2,...为有限或无限个事件，他们两两互斥且在每次试验中至少发生一个，用式表之：
$B_iB_j=\varnothing(不可能时间)，当i\neq j $
B
1
+
B
2
+
.
.
.
=
Ω
(
必
然
事
件
)
B_1+B_2+...=\Omega(必然事件)
B1+B2+...=Ω(必然事件)
全概率公式如下：
P
(
A
)
=
P
(
A
B
1
)
+
P
(
A
B
2
)
+
.
.
.
+
P
(
A
B
n
)
P(A)=P(AB_1)+P(AB_2)+...+P(AB_n)
P(A)=P(AB1)+P(AB2)+...+P(ABn)
P
(
A
)
=
P
(
B
1
)
P
(
A
∣
B
1
)
+
P
(
B
2
)
P
(
A
∣
B
2
)
+
.
.
.
+
P
(
B
n
)
P
(
A
∣
B
n
)
P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+...+P(B_n)P(A|B_n)
P(A)=P(B1)P(A∣B1)+P(B2)P(A∣B2)+...+P(Bn)P(A∣Bn)
一般理解，事件A时在 某 种 事 件 途 径 B i 某种事件途径B_i 某种事件途径Bi条件下产生的，但时那种途径时随机的，所以事件A发生的综合概率 P ( A ) P(A) P(A)应该在 P ( A ∣ B i ) P(A|B_i) P(A∣Bi)的最大和最小值之间，但也不一定是算数平均，这里取的是加权平均。
3.贝叶斯公式
贝叶斯公式推导
P
(
B
∣
A
)
=
P
(
A
B
i
)
/
P
(
A
)
P(B|A) = P(AB_i)/P(A)
P(B∣A)=P(ABi)/P(A)
P
(
B
∣
A
)
=
P
(
B
I
)
P
(
A
∣
B
i
)
/
∑
j
P
(
B
j
)
P
(
A
∣
B
j
)
P(B|A) = P(B_I)P(A|B_i)/\sum\limits_j{P(B_j)P(A|B_j)}
P(B∣A)=P(BI)P(A∣Bi)/j∑P(Bj)P(A∣Bj)
如果我们把事件A看成“结果”，把诸事件 B 1 , B 2 , . . . B_1,B_2,... B1,B2,...看成导致这结果的可能的“原因”，则可以形象地把全概率公式看作成为“由原因推结果”；而贝叶斯公式则恰好相反，起作用在于“由结果推原因”；现有一个结果“A”已经发生，在众多可能的“原因”中，到底是哪一个导致了这结果？贝叶斯公式说，个原因可能性大小与 P ( B i ∣ A ) P(B_i|A) P(Bi∣A)成比例
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
