机器学习—聚类和异常检测

K-means

1.把点分配给距离它最近的质心
2.重新移动质心（将质心移动到该类所有点的均值处）
${\mu }_k:第k个质心$
$c^i：x^i属于的类$
${\mu }_{c^i}:x^i属于的类的的质心$
cost function：$J(c^1,...,c^m,{\mu }_1,...,{\mu }_k)=\frac{1}{m}{\sum }_{i=1}^m{||x^i-{\mu }_{c^i}||}^2$
初始化K-means:

1. k<m
2. 随机选择m中的k个点作为质心
3. 容易陷入局部最优解，因此要多次选择不同初始化质心进行计算，选择最优的

异常检测算法

检测标准：P(x)<ɛ
异常检测算法的“异常值”样本通常都很少
eg：10000组正常数据和20组异常数据
训练集：6000组正常数据
交叉验证集：2000组正常数据，10组异常数据
测试集：2000组正常数据，10组异常数据
或
训练集：6000组正常数据
交叉验证集：4000组正常数据，20组异常数据
无测试集
异常检测与监督学习对比

异常检测	监督学习
异常值无规律，出错的地方可能各不相同	异常比较固定
探索未知的缺陷	发现已知的缺陷
飞行器故障检测	垃圾邮件检测

特征选择
直方图绘制特征x，可通过$x^2,x^n,\sqrt{x},logx$等等，让数据更加符合正态分布
也可以根据特征的含义，将已有的数据进行组合，想出相加相乘等等