p value理解

ref:http://yenchic-blog.logdown.com/posts/159549-talking-about-the-p-value-p-value

p值可以說是統計學的重要議題 但p值卻是非常不好理解的東西

p值是一種"無單位"的"通用"指標
用來衡量某個假說(null hypothesis)的顯著性
而p值的"比較對象" 是顯著水準(significance level)

所以p值只跟1. null hypothesis 2. test statistics(測試統計量)
這兩個量有關係 
而我們的決策是：拒絕null hypothesis 當p值比給定的顯著水準還要小

上面講起來很複雜 我們先從p值的用途談起
為什麼我們會需要p值？
p質跟所謂的假設檢定相當有關係

假設檢定就是要討論一個null hypothesis 對比上 一個alternative hypothesis 
我們是否有充分證據 在給定的顯著水準alpha(significance level, 通常用alpha表示)之下去認定null hypothesis是不合理的
證據來自資料
而我們的決策是根據一個test statistics來進行
這個test statistics完全是透過資料所算出來的數值
當test statistics落在拒絕區rejection regions時(由test statistics的分配 還有顯著水準alpha 所建立出來) 
我們就拒絕null hypothesis

舉幾個例子來說
Ex.1. 某甲說狗的平均壽命是10年
在這個問題之下 null hypothesis就是
"狗的平均壽命=10年"
一個常見的test statistics就是隨機抽樣狗狗
然後拿狗狗樣本的[平均壽命(樣本平均)-10]年 作為test statistics

Ex.2. 某乙說 上PTT的鄉民的出國的比率只有13%
在這個問題之下 null hypothesis就是
"PTT的鄉民的出國比率=10%"
這個問題之下 一個test statistics就是對鄉民抽樣調查
如果出國的人 就給1 沒出國的人給0
這樣平均下來的[樣本平均值-0.1] 就是一個test statistics

Ex.3. 某丙說 2013年台大畢業生的平均起薪是 60k
相對應的null hypothesis就是
"2013年台大畢業生的平均起薪=60k"
而test statistics 就是隨機抽樣的台大畢業生的[平均起薪-60k]

這三個例子裡 我們看到三個不同的null hypothesis
對應到三個不同test statistics

不同的test statistics也給出完全不同的rejection regions
並且單位差異非常之大
Ex.1.的單位是"年" 並且值大概都是10左右的數值
Ex.2.的單位是% 值都落在 0%~100%之間
Ex.3.的單位是新台幣 值通常是落在10k這個數量級

當我們今天收集完資料 抽樣跑出結果
Ex.1. 我們得到狗狗平均壽命9年 樣本標準差1年
Ex.2. 我們得到鄉民出國率20% 針對100個樣本
Ex.3. 我們得到平均起薪50k 樣本標準差5k

不同的顯著水準alpha與不同的examples
會給出不同的答案(拒絕/不拒絕null)
並且光是靠著test statistics 實在很難讓人一眼看出null hypothesis在給定的alpha之下是否合理

此時p值的用途就出現了
我們可以直接從資料裡得出不同的p值
Ex.1. p_1 = 0.32
Ex.2. p_2 = 0.0005
Ex.3. p_3 = 0.023

仔細看 這些p值完全"沒有單位"
並且給定不同的顯著水準 我們立馬就可以知道是否要拒絕
e.g. 顯著水準=0.05 則2,3要拒絕; 顯著水準=0.01 則只有2要拒絕
我們也完全不需要知道那個rejection regions在不同顯著水準之下長怎樣

只要有了p值 資料對於null hypothesis的支持度馬上就知道
所以 p值可以看成一種科學上做假說檢定非常好用的通用單位
並且我們的決策 完全只需要比較p還有alpha之間的關係就好

p.s. p值不僅跟null hypothesis有關
也跟test statistics有關
同樣的null hypothesis 給定同樣的資料 我們可以用不同的test statistics去處理 在這種情況 不同的test statistics會有不同的p值

p.s.2. 因為p值的比較對象是顯著水準
因此嚴格的p值定義裡會看到顯著水準的影子:
p(X) = inf{alpha: T(X) in R_alpha}
X是我們的資料(樣本), T是所謂的test statistics, R_alpha是拒絕區在給定alpha之下
這個式子可以詮釋成 透過樣本計算test statistics T(X)
然後我們慢慢地改變alpha 當alpha很小時 T(X)不會落在拒絕區裡面
我們慢慢增加alpha 當到某個alpha時 T(X)會開始總是落在拒絕區裡面
這個讓T(X)從"不在裡面" 轉變到 "在裡面"的那個alpha
就是所謂的p值