研究邪术！

聚类思路:无监督学习 没有标签 将样本划分为多个不相交的簇性能度量:簇内相似度高,簇间相似度低评价指标外部指标含义:与参考模型对比方法:比较任意两个样本在两个模型上的预测结果常用指标:值越大越好JCFMIRI内部指标:方法:基于平均距离 最远距离 簇间最近样本 等等常用指标DBI 小好DI 大好距离的定义要求非负同一对称直递有序距离:闵可夫斯基距离非序距离: VDM作用:比较某一个属性两个离散值.

[期末考试][笔记整理]集成学习基本思路: 结合多个学习器集成学习的分类同质:组成:同类个体学习器组件被称为:基学习器异质组成:非同类个体学习器组件被称为:组件学习器弱学习器定义: 略强于随机猜测的学习器效果: 集成弱学习器的效果较好实际使用: 为了减少学习器个数\重用经验,往往用强学习器学习器的要求准确多样按个体生成方法集成学习分类boosting: 个体间强依赖,串行生成bagging与随机森林: 个体间不存在

[期末考试][笔记整理]条件风险: 将样本X错分后的期望损失贝叶斯判定准则:每个样本都选择使得总体条件风险最小的标记后验概率:某事件发生后的概率后验概率的估计判别式模型决策树神经网络SVM生成式模型: 对概率建模类条件概率的估计: 假定一个分布–>进行参数估计两大主义频率主义:参数未知但是固定.MLE贝叶斯主义:参数随机,本身符合某个分布朴素贝叶斯假设:所有属性独立表达式类先验概率由充足样本产生条

SVM基本思想寻找超平面实现最大间隔SVM的形式化描述[熟悉书本]支持向量：距离超平面最近的样本点间隔：两个异类支持向量到超平面的距离和对偶问题[熟悉书本表达式]SVM特点:最终的模型仅与支持向量相关.SMO求解对偶问题:每次优化两个参数,提高效率核函数用途用高维空间使样本线性可分在原始空间内计算样本在高维特征空间的内积重要性:核函数定义了一个高维空间核函数的选择影响了SVM的性能软间隔原因..

[期末考试][笔记整理]神经网络的基本定义包括适应性的简单单元广泛并行互联模拟生物交互反应M-P神经元的构成输入信号带权连接阈值比较输出激活函数阶跃函数：不连续不光滑sigmoid：连续光滑感知机[熟悉书本图片]对比神经元：在MP的输入位置上添加了输入神经元。仍然属于单层神经网络局限只能进行一次激活只能处理线性可分（与或非）不能处理异或两层神经网络特点用反向传播解决计算量大的问题中间的层称为隐含

[期末考试][笔记整理]决策树算法递归终止条件[熟悉书本决策树伪码]样本全部为一类属性集空或者样本在属性集上的取值相同样本集空最优属性的选择划分目标：使得分支后的纯度尽可能高。换言之，尽可能是同一类。度量尺度[熟悉书本信息熵、信息增益公式]信息增益 ID3：偏好取值多的属性增益率 C4.5: 偏好取值少的属性基尼指数 CART度量方法对比CART为二叉树，ID3 C4.5支持多叉树；CART和C4.5支持离散和连续属性，ID3仅支持离散属性。CART和C

[期末考试复习][整理日常笔记]