以前都没有好好把机器学习的这些书看完,现在闲下来刚好整理一下,水平有限,内容压缩较少,下次再努努力。
-
-
基本术语;
-
假设空间;
-
归纳偏好;
-
-
-
经验误差和过拟合:错误率,精度,误差;
-
评估方法:留出法,交叉验证法,自助法,调参与最终模型;
-
性能优度:均方误差,错误率和精度,查准率、查全率、F1,混淆矩阵,PR曲线,ROC和AUC,代价敏感错误率和代价曲线;
-
偏差和方差:偏差,方差,噪声,偏差方差分解,偏差方差窘境;
-
-
-
基本形式;
-
线性回归:一元线性回归,多元线性回归,广义线性回归;
-
逻辑回归:基本形式,优点,求解;
-
线性判别分析LDA;
-
多分类学习:一对一,一对多,多对多;
-
类别不平衡问题:再缩放,欠采样,过采样,阈值移动;
-
-
-
基本流程;
-
划分选择:信息增益gain,信息增益率 gain ratio,gini指数;
-
剪枝:预剪枝,后剪枝;
-
连续和缺失值:连续值处理,缺失值处理;
-
多变量决策树;
-
-
-
神经元模型:M-P神经元模型;
-
感知机与多层网络;
-
误差逆向传播算法;
-
全局最小和局部最小;
-
其他常见神经网络:BRF网络,ART网络,SOM网络,级联相关网络,Elman网络,Boltzmann机;
-
深度学习;
-
-
-
间隔和支持向量;
-
核函数;
-
软间隔与正则化;
-
支持向量回归;
-
-
-
贝叶斯决策论;
-
极大似然估计;
-
朴素贝叶斯分类器:贝叶斯公式。朴素贝叶斯,拉普拉斯修正;
-
半朴素贝叶斯分类器:半朴素贝叶斯分类器,独依赖估计,SPODE,TAN;
-
贝叶斯网;
-
EM算法;
-
-
-
个体与集成:集成学习,一般结构,同质集成,异质集成;
-
Boosting:基本原理,Adaboost;
-
Bagging和随机森林:自助采样法,Bagging基本流程,最终输出,随机森林;
-
结合策略:平均法,投票法,学习法;
-
多样性:误差-分歧 分解,多样性度量,多样性增强;
-
-
-
聚类任务:无监督学习,聚类;
-
性能度量:相似度,外部指标,内部指标;
-
距离计算:闵可夫斯基距离,VDM,加权距离;
-
原型聚类:k-means算法,学习向量量化,高斯混合聚类;
-
密度聚类:DBSCSN;
-
层次聚类:AGENS聚类;
-
-
-
K近邻学习;
-
低维嵌入;
-
主成分分析;
-
核化线性降维;
-
流形学习;
-
-
-
子集搜索与评价:子集搜索,子集评价;
-
过滤式选择;包裹式选择;
-
嵌入式选择与正则化:嵌入式选择,L1正则化;
-
稀疏表示与字典学习;
-
-
-
基础知识;
-
PAC概率近似正确学习:概率近似正确,PAC辨识,PAC可学习,PAC算法,样本复杂度;
-
有限假设空间:可分情形,不可分情形;
-
VC维:增长函数,对分与打散,VC维;
-
稳定性:训练集的两种变化,损失估计,均匀稳定性,泛化误差界;
-
-
-
隐马尔可夫模型:概率模型,推断,概率图模型,隐马尔可夫模型;
-
马尔可夫随机场;
-
条件随机场;
-
学习与推断:变量消去,信念传播;
-
近似推断:MCMC采样,变分推断;
-
话题模型:话题模型,词,文档,话题;
-
-
-
基本概念:规则,规则学习,规则学习优势,规则基本概念;
-
序贯覆盖;
-
剪枝优化:减错剪枝,RIPPER算法;
-
一阶规则学习;
-
归纳逻辑程序设计;
-
-
-
任务与奖励;
-
K-摇臂赌博机:探索与利用,贪心,Softmax;
-