1. K-means
1.1 Steps
- Pick a number (k) of cluster centers
- Assign every gene to its nearest cluster center
- Move each cluster center to the mean of its assigned genes
- Repeat 2-3 until convergence
1.2 Variations/parameters
Initial(seed) cluster centers.
Convergence
- A fixed number of iterations
- partitions unchanged
- Cluster centers don’t change
2. Knn
k近邻法(k-nearest neighbor, kNN)是一种基本分类与回归方法,其基本做法是:给定测试实例,基于某种距离度量找出训练集中与其最靠近的k个实例点,然后基于这k个最近邻的信息来进行预测。
通常,在分类任务中可使用“投票法”,即选择这k个实例中出现最多的标记类别作为预测结果;在回归任务中可使用“平均法”,即将这k个实例的实值输出标记的平均值作为预测结果;还可基于距离远近进行加权平均或加权投票,距离越近的实例权重越大。
2.1 KNN 距离函数
- 曼哈顿距离
- 欧氏距离
2.2 KNN Summary
优缺点
- 优点
- 简单
- 易于实现
- 不需要参数估计和训练
- 缺点
- 计算量大
- 内存开销大
K 的取值
参数K一般不大于20