大津法（OTSU 最大类间方差法）详细数学推导（公式繁杂，欢迎讨论）

大家新年快乐哇, 武汉加油，我的家乡温州也加油，中国加油！向前线人员致敬！

---

最近在家里做迁移学习，受限于笔记本的限制，深度方向做不了，开始看师兄的论文，发现论文里提到最大方差法，但是没有具体说明出处，去查找相应的出处，也就看到了大津算法，但很奇怪的是，好多人都是很简略地说了思想，到底怎么出来的，还是没明白，因此自己找呗~

将进行一个阈值即两类的推导，让思想动起来！

---

大津算法提出了两个方差(若有人知道更早的出处欢迎留言指出)。
1.within-class variance 类内方差
2.between-class variance 类间方差

提前指出结论

1.大津法的目标就是最大化类间方差
2.实现最大化类间方差同时就实现了类内方差最小化，因为二者的平方和为定值
3.最优阈值点一定存在

具体程序就麻烦小伙伴自己找找啦。

~~ 进入正题 ~~

现在有一张灰度图含有背景图像和目标图像($C_0,C_1$)，我们要找到一个阈值将像素值分为两块使两者最好的区分。

图来源于网络，右图类间差异大，区分明显。所以最大化类间差异

现在再来看看公式推导

将图片的像素值分为 [1, 2, …, L] 个水平，用$n_i$表示各个水平像素值的像素个数，那么很容易得到总像素个数为

$$N=n_1+n_2+...+n_L$$

我们利用像素值对应个数与总数的商作为某个像素值出现的频率，定义$p_i$

$$p_i=n_i/N_i,p_i\ge 0,\sum _{i=1}^L{p}_i=1$$

定义两个量$w_0,w_1$为$C_0,C_1$的局部频率之和，并且得到二者的关系

$$w_0=Pr(C_0)=\sum _{i=1}^k{p}_i=w(k)$$

$$w_1=Pr(C_1)=\sum _{i=k+1}^L{p}_i=1-w(k)$$

由此我们得到总的数学期望和$C_0,C_1$各自的数学期望并指出三者的关系，式中$i$代表像素值，除于各自频率的和用于进行归一。

$$u_T=u(L)=\sum _{i=1}^{L}i\ast p_i$$

$$u_0=\sum _{i=1}^{k}i\ast Pr(i|C_0)=\sum _{i=1}^{k}i\ast p_i/w_0=\frac{u(k)}{w(k)}$$

$$u_1=\sum _{i=k+1}^{L}i\ast Pr(i|C_1)=\sum _{i=k+1}^{L}i\ast p_i/w_1=\frac{u_T-u(k)}{1-w(k)}$$

并指出以上公式之间的关系：

$$w_0{u}_0+w_1{u}_1=u_T{w}_0+w_1=1$$

除了数学期望，计算各自局部方差和总方差

$${\sigma }_T^2=\sum _{i=1}^L(i-u_T{)}^2{p}_i$$

$${\sigma }_0^2=\sum _{i=1}^k(i-u_0{)}^{2}Pr(i|C_0)=\sum _{i=1}^k(i-u_0{)}^2{p}_i/w_0$$

$${\sigma }_0^1=\sum _{i=k+1}^L(i-u_1{)}^{2}Pr(i|C_1)=\sum _{i=k+1}^L(i-u_1{)}^2{p}_i/w_0$$

基础打完，为了大家翻遍查阅，列一个表格方便查阅

变量/公式	相关含义
$p_i$	某个像素值可能出现的频率
$w_0/w(k),w_1$	$C_0,C_1$ 对应的频率和
$u_T,u_0,u_1$	整个图像，$C_0$，$C_1$，像素的数学期望
${\sigma }_T,{\sigma }_0,{\sigma }_1$	整个图像，$C_0$，$C_1$，像素的方差
$\sum i\ast p_i$	数学期望的求解公式
$\sum (i-u{)}^2\ast p_i$	方差的求解公式

定义完以上变量，作者提出
within_class variance 类内差异

$${\sigma }_w^2=w_0{\sigma }_0^2+w_1{\sigma }_1^2$$

between_class variance 类间差异

$${\sigma }_b^2=w_0(u_0-u_T{)}^2+w_1(u_1-u_T{)}^2$$

之前指出，作者要求最大化类间差异，我们可以从图中明白这个道理，那么为什么最大化类间差异就是最小化类内差异？

有意思的来了， 因为二者的和为定值

$${\sigma }_w^2+{\sigma }_b^2={\sigma }_T^2$$

以下为推导公式

我们取${\sigma }_w^2$，${\sigma }_b^2$中的$w_0{\sigma }_0^2$和$w_0(u_0-u_T{)}^2$两项，先将$w_0{\sigma }_0^2$展开

$$=w_0[{\frac{1}{w}}_0\ast \sum _{i=0}^k(i-u_0{)}^2{p}_i]=w_0[{\frac{1}{w}}_0\ast \sum _{i=0}^k((i-u_T)+(u_T-u_0){)}^2{p}_i]$$

$$=w_0[{\frac{1}{w}}_0\ast \sum _{i=0}^k((i-u_T{)}^2+2(i-u_T)(u_T-u_0)+(u_T-u_0{)}^2)p_i]$$

$$=\sum _{i=0}^k(i-u_T{)}^2\ast p_i$$

$$+\sum _{i=0}^{k}2(i-u_T)(u_T-u_0)\ast p_i$$

$$+(u_T-u_0{)}^2\ast \sum _{i=0}^k{p}_i$$

展开${\sum }_{i=0}^{k}2(i-u_T)(u_T-u_0)\ast p_i$

$$=2(u_T-u_0)\sum _{i=0}^k(i-u_T)p_i$$

$$=2(u_T-u_0)[\sum _{i=0}^{k}i{p}_i-u_T\sum _{i=0}^k{p}_i]$$

根据数学期望和局部概率和的定义得到

$$\sum _{i=0}^{k}2(i-u_T)(u_T-u_0)\ast p_i=2(u_T-u_0)w_0(u_0-u_T)=-2w_0(u_T-u_0{)}^2$$

得$w_0{\sigma }_0^2$化简为

$$=\sum _{i=0}^k(i-u_T{)}^2\ast p_i-w_0(u_T-u_0{)}^2$$

从${\sigma }_b^2$的第一项可以发现，二者的和恰为
$$\sum _{i=0}^k(i-u_T{)}^2\ast p_i$$

同理推得第二项，则

$${\sigma }_b^2+{\sigma }_w^2=\sum _{i=0}^k(i-u_T{)}^2{p}_i+\sum _{i=k+1}^L(i-u_T{)}^2{p}_i=\sum _{i=0}^L(i-u_T{)}^2{p}_i={\sigma }_T^2$$

因此类内差异与类间差异的和为总的方差，为一定值

那么为什么最优阈值一定存在呢？

从${\sigma }_b^2$的定义出发
已知

$$w_0{u}_0+w_1{u}_1=u_T$$

因此

$${\sigma }_b^2=w_0(u_0-u_T{)}^2+w_1(u_1-u_T{)}^2$$

$$=w_0(u_0-(w_0{u}_0+w_1{u}_1){)}^2+w_1(u_1-(w_0{u}_0+w_1{u}_1){)}^2$$

$$=w_0{w}_1(u_1-u_0{)}^2$$

再根据

$$u_0=\frac{u(k)}{w(k)}{u}_1=\frac{u_T-u(k)}{1-w(k)}$$

得

$${\sigma }_b^2=\frac{[u_{T}w(k)-u(k){]}^2}{w(k)[1-w(k)]}$$

求解最大类间差异可写作

$${\sigma }_b^2(k^{\ast })=\underset{1\le k<L}{\max }{\sigma }_b^2(k^{)}$$

由上述${\sigma }_b^2$的分母可以发现，$w(k)$可以取到1也可以取到0，因此在边界上${\sigma }_b^2$可以无穷大，而在开集$(0,1)$则类间方差有限，因此在定义域

$$S^{\ast }=k:w_0{w}_1=w(k)[1-w(k)]>0$$

总存在最优解。

完成三条结论的推导

---

等等~

会不会有小伙伴在想
$$\underset{1\le k<L}{\max }{\sigma }_b^2(k^{)}$$

这个问题怎么解哇！

哈哈，我也不会，目前就是一个点一个点的代入哇，找到最大值即可。但是我最近在学凸优化这门课，相信自己学完是能解决这个的！

一起加油！

元宵快乐，芝麻汤圆最好吃了！

---

• [1] Otsu, N. (1979) A threshold selection method from gray-level histogram. IEEE Transactions on Systems, Man and Cybernetics, 9, 62-66.