Fraud detection的data set 分配:
10000 negative data(好的零件)=6000 training set+2000 CV +2000 test
20 positive data(出错零件) =0 training set 10 CV+10 test
*门限 ϵ 可以使用CV来确定。
Anomaly detection(unsupervised) VS. Supervised learning, 使用高斯混合模型的情况:
1. positive examples 的数目<< negative examples(混合高斯模型的train只需要negative examples)
2. many different types of anomalies and there will be new types in the future, 由于positive少,很难确定出type,spam email不是这种情况,它的positive情况很明显。
*当数据分布不像高斯分布的时候可以取log之类的,使之更像高斯分布。
Original model VS. Multivariate Gaussian
1. Original model 是
σ
矩阵为对角阵情况下的一种特殊的Multivariate Gaussian模型
2. m>>n,一般m>10n时可以考虑使用Multivariate Gaussian模型