从拉格朗日乘数法到最大熵再到基因表达分析
前言：本文将简要的介绍一下拉格朗日乘数法，并填一下上篇文章挖的坑（证明当为均匀分布时，熵值达到最大。） ，最后简要介绍熵在基因表达分析中的应用。
首先是拉格朗日乘数法的简要介绍。主要以二元函数为例。(大部分参考一篇文献，文献见末尾
[
1
]
^{[1]}
[1]) 拉格朗日乘数法是求解条件极值问题的一大利器。在《高等数学》同济版中是这样介绍的：“考虑如下的条件极值：求二元函数z=f(x,y)，在条件
ϕ
(
x
,
y
)
\phi ( x , y )
ϕ(x,y)=0下的极值和最值。”
假定函数z=f(x,y)在p(
x
0
x_{0}
x0,
y
0
y_{0}
y0)取得极值，并且
ϕ
(
x
0
,
y
0
)
=
0
\phi(x_{0},y_{0})=0
ϕ(x0,y0)=0，若在p的某个邻域内二元函数z=f(x,y)和方程
ϕ
(
x
,
y
)
\phi ( x , y )
ϕ(x,y)=0都存在连续的一阶偏导数，且
ϕ
y
(
x
0
,
y
0
)
≠
0
\phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) \neq 0
ϕy(x0,y0)=0
则根据隐函数的存在定理，方程
ϕ
(
x
,
y
)
\phi ( x , y )
ϕ(x,y)=0确定一个连续且有连续导数的函数y=
ψ
(
x
)
\psi ( x )
ψ(x)，将其带入二元函数中可得z=f(x,
ψ
(
x
)
\psi ( x )
ψ(x))
有假设可知，函数z=f(x,y)在p点取得极值，即函数z=f(x,y)在x=
x
0
x_{0}
x0取得极值，对此时的一元函数求导得：
d
z
d
x
=
f
x
(
x
0
,
y
0
)
+
f
y
(
x
0
,
y
0
)
d
y
d
x
∣
x
=
x
0
=
0
\frac { d z } { d x } = f _ { x } \left( x _ { 0 } , y _ { 0 } \right) + \left. f _ { y } \left( x _ { 0 } , y _ { 0 } \right) \frac { d y } { d x } \right| _ { x = x _ { 0 } } = 0
dxdz=fx(x0,y0)+fy(x0,y0)dxdy∣∣∣x=x0=0
而对函数y=
ψ
(
x
)
\psi(x)
ψ(x)进行隐函数求导有：
d
y
d
x
∣
x
=
x
0
=
−
ϕ
x
(
x
0
,
y
0
)
ϕ
y
(
x
0
,
y
0
)
\left. \frac { d y } { d x } \right| _ { x = x _ { 0 } } = - \frac { \phi _ { x } \left( x _ { 0 } , y _ { 0 } \right) } { \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) }
dxdy∣∣∣x=x0=−ϕy(x0,y0)ϕx(x0,y0)
将隐函数的求导结果带入
d
z
d
x
\frac { d z } { d x }
dxdz式子中得：
f
x
(
x
0
,
y
0
)
−
f
y
(
x
0
,
y
0
)
φ
x
(
x
0
,
y
0
)
ϕ
y
(
x
0
,
y
0
)
=
0
f _ { x } \left( x _ { 0 } , y _ { 0 } \right) - f _ { y } \left( x _ { 0 } , y _ { 0 } \right) \frac { \varphi _ { x } \left( x _ { 0 } , y _ { 0 } \right) } { \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) } = 0
fx(x0,y0)−fy(x0,y0)ϕy(x0,y0)φx(x0,y0)=0
且令
λ
\lambda
λ=
−
f
y
(
x
0
,
y
0
)
ϕ
y
(
x
0
,
y
0
)
- \frac { f _ { y } \left( x _ { 0 } , y _ { 0 } \right) } { \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) }
−ϕy(x0,y0)fy(x0,y0)
则p点是等式条件约束下的多元函数极值的必要条件是：
{
f
x
(
x
,
y
)
−
λ
ϕ
x
(
x
0
,
y
0
)
=
0
f
y
(
x
0
,
y
0
)
−
λ
ϕ
y
(
x
0
,
y
0
)
=
0
ϕ
(
x
,
y
0
)
=
0
\left\{ \begin{array} { l } { f _ { x } ( x , y ) - \lambda \phi _ { x } \left( x _ { 0 } , y _ { 0 } \right) = 0 } \\ { f _ { y } \left( x _ { 0 } , y _ { 0 } \right) - \lambda \phi _ { y } \left( x _ { 0 } , y _ { 0 } \right) = 0 } \\ { \phi _ { \left( x , y _ { 0 } \right) = 0 } } \end{array} \right.
⎩⎨⎧fx(x,y)−λϕx(x0,y0)=0fy(x0,y0)−λϕy(x0,y0)=0ϕ(x,y0)=0
&若我们引入辅助函数L(x,y)=f(x,y)-
λ
ϕ
(
x
,
y
)
\lambda\phi(x,y)
λϕ(x,y)则对函数L对x,y,
λ
\lambda
λ,求偏导数后不难看出就是必要条件的三个等式。这个函数L就是拉格朗日函数，
λ
\lambda
λ就是拉格朗日乘子。若是对拉格朗日函数及乘子的构造有疑问，可以参考文末的文献，其给出了几何角度的解释。
下面我们运用拉格朗日乘数法证明当是均匀分布时，取得最大熵值。
熵：
H
(
X
)
=
−
∑
i
n
P
(
x
i
)
log
P
(
x
i
)
H (X) = - \sum _ { i } ^nP \left( x _ { i } \right) \log P \left( x _ { i } \right)
H(X)=−∑inP(xi)logP(xi) ，且
∑
i
n
P
(
x
i
)
\sum_{i}^nP(x_{i})
∑inP(xi)=1 (log的底数默认为2)
构造拉格朗日函数L(x)=
−
∑
i
n
P
(
x
i
)
log
P
(
x
i
)
- \sum _ { i }^n P \left( x _ { i } \right) \log P \left( x _ { i } \right)
−∑inP(xi)logP(xi)+
λ
\lambda
λ(
∑
i
\sum_{i}
∑iP(
x
i
x_{i}
xi)-1)
然后对所有的
P
(
x
i
)
P(x_{i})
P(xi)求偏导：
∂
∂
P
(
x
i
)
\frac { \partial } { \partial P (x _ { i }) }
∂P(xi)∂(
−
∑
i
n
P
(
x
i
)
log
P
(
x
i
)
- \sum _ { i }^n P \left( x _ { i } \right) \log P \left( x _ { i } \right)
−∑inP(xi)logP(xi)+
λ
\lambda
λ(
∑
i
\sum_{i}
∑iP(
x
i
x_{i}
xi)-1))
得到n个等式的微分,且取最值时，一阶导数为 0：
−
(
log
2
p
(
x
i
)
+
1
ln
2
)
+
λ
=
0
- \left( \log _ { 2 } p( x _ { i })+ \frac { 1 } { \ln 2 } \right) + \lambda = 0
−(log2p(xi)+ln21)+λ=0
进而得到：
P
(
x
i
)
=
2
λ
−
1
ln
2
P \left( x _ { i } \right) = 2 ^ { \lambda - \frac { 1 } { \ln 2 } }
P(xi)=2λ−ln21
所以我们易知
P
(
x
1
)
P(x_{1})
P(x1)=
P
(
x
2
)
P(x_{}2)
P(x2)=
P
(
x
3
)
P(x_{3})
P(x3)=…=
P
(
x
n
)
P(x_{n})
P(xn)=
2
λ
−
1
l
n
2
2^{\lambda-{\frac{1}{ln2} }}
2λ−ln21
且
∑
i
n
P
(
x
i
)
\sum_{i}^nP(x_{i})
∑inP(xi)=1 :
故
P
(
x
1
)
P(x_{1})
P(x1)=
P
(
x
2
)
P(x_{}2)
P(x2)=
P
(
x
3
)
P(x_{3})
P(x3)=…=
P
(
x
n
)
P(x_{n})
P(xn)=
1
n
\frac{1}{n}
n1
故此时为均匀分布。
且将结果带入H(X)中得到最大的熵值为：
l
o
g
2
n
log_{2}n
log2n
在Schug等人的文章《Promoter features related to tissue specificity as measured by Shannon entropy》提到了用信息熵来衡量某些基因在组织中相对表达水平。
Given expression levels of a gene in N tissues, we defined the
relative expression of a gene g in a tissue t as p t ∣ g p_{t|g} pt∣g =
w g , t w_{g,t} wg,t / ∑ 1 ≤ t ≤ N \sum_{1 ≤ t ≤ N} ∑1≤t≤N w g , t w_{g,t} wg,t where w g , t w_{g,t} wg,t is the expression level of the gene in the tissue. The entropy of a gene’s expression distribution is H g H_g Hg
= ∑ 1 ≤ t ≤ N − p t ∣ g l o g 2 ( p t ∣ g ) \sum_{1 ≤ t ≤ N} - p_{t|g} log_2(p_{t|g}) ∑1≤t≤N−pt∣glog2(pt∣g). H g H_g Hg has units s and ranges from
zero for genes expressed in a single tissue to l o g 2 ( N ) log_2(N) log2(N) for genes
expressed uniformly in all tissues considered. The maximum
value of H g H_g Hg depends on the number of tissues considered so
we will report this number when appropriate. [ 2 ] ^{[2]} [2]
如上文所说：如果某基因在这N个组织中的表达水平趋近于相同(即该基因倾向于广泛表达),则熵值趋近于最大值 l o g 2 N log_{2}N log2N,若某基因倾向于只在某一组织中表达，则熵值趋近于0
参考文献：[1] 吴元泽. 关于拉格朗日乘数法的一点思考[J]. 教育教学论坛, 2018, No.350(08):232-233.
[2] Schug J, Schuller W P, Kappen C, et al. Promoter features related to tissue specificity as measured by Shannon entropy[J]. Genome biology, 2005, 6(4): R33.
672
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
