高级算法设计 Chernoff Bounds

例子：独立地掷硬n次，每一次正面的概率为1/2，每次掷硬币 事件为$x_i$那么用$X$表示n次中正面向上的总次数，求当总次数超过平均次数n/2次约1/3的概率上限是多少？

https://people.eecs.berkeley.edu/~jfc/cs174/lecs/lec10/lec10.pdf

Chernoff’s Bound

{ X 1 , X 2 , … , X i } \{X_1,X_2,\dots,X_i\} {X1​,X2​,…,Xi​}为$n$次独立0/1 事件， P r { X i = 1 } = p i Pr\{X_i=1\}=p_i Pr{Xi​=1}=pi​,令$X=\sum X_i$ E { X } = ∑ E { X i } = u E\{X\}=\sum E\{X_i\}=u E{X}=∑E{Xi​}=u
对于任意$\delta >0$
P r { X ≥ ( 1 + δ ) u } ≤ [ e δ （ 1 + δ ） 1 + δ ] u Pr\{X \geq (1+\delta)u\}\leq[\frac{e^\delta}{（1+\delta）^{1+\delta}}]^u Pr{X≥(1+δ)u}≤[（1+δ）1+δeδ​]u
P r { X ≥ ( 1 + δ ) u } ≤ e − δ 2 3 u Pr\{X \geq (1+\delta)u\}\leq e^{-\frac{\delta^2}{3}u} Pr{X≥(1+δ)u}≤e−3δ2​u
对于任意$0<\delta <1$
P r { X ≤ ( 1 − δ ) u } ≤ [ e − δ （ 1 − δ ） 1 − δ ] u Pr\{X \leq (1-\delta)u\}\leq[\frac{e^{-\delta}}{（1-\delta）^{1-\delta}}]^u Pr{X≤(1−δ)u}≤[（1−δ）1−δe−δ​]u
P r { X ≤ ( 1 − δ ) u } ≤ e − δ 2 2 u Pr\{X \leq (1-\delta)u\}\leq e^{-\frac{\delta^2}{2}u} Pr{X≤(1−δ)u}≤e−2δ2​u
P r { ∣ X − u ∣ ≥ δ u } ≤ e − δ 2 2 u + e − δ 2 3 u ≤ 2 e − δ 2 2 u Pr\{|X-u |\geq \delta u\}\leq e^{-\frac{\delta^2}{2}u}+e^{-\frac{\delta^2}{3}u} \leq 2e^{-\frac{\delta^2}{2}u} Pr{∣X−u∣≥δu}≤e−2δ2​u+e−3δ2​u≤2e−2δ2​u

以下素材来源：
https://www.cnblogs.com/zhixingr/p/6953299.html
http://blog.sina.com.cn/s/blog_890c6aa301016fai.html