aaon22357的博客

文章目录基础概念期望风险、经验风险、结构风险第一章 统计学习方法概论1.正则化2.交叉验证3.泛化能力4.生成模型与判别模型生成方法判别方法5.分类问题6.回归问题基础概念期望风险、经验风险、结构风险经验风险：就是训练误差结构风险：训练误差 + 表示模型复杂度的正则项（结构风险就是训练误差和模型复杂度之和)经验风险是局部概念，针对训练样本的损失函数，可以求得。期望风险是全局...

机器学习经典算法线性回归和逻辑回归机器学习–LR逻辑回归与损失函数理解logistic回归损失函数

本博客中的ppt参考自七月在线的机器学习系列课程。文章目录是什么为什么系统结构评定标准推荐算法初步基于内容的推荐协同过滤推荐算法（CF）1. 基于用户的协同过滤算法（user-based collaboratIve filtering），2. 基于Item的协同过滤算法（item-based collaborative filtering），协同过滤算法总结推荐系统之冷启动问题推荐算法进阶隐语...

文章目录基础概念第八章 提升方法1. 提升方法Adaboost算法基础概念boosting方法是一种常用的统计学习方法，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 第八章 提升方法 1. 提升方法Adaboost算法...

基础概念决策树是一种基本的分类与回归方法，这里主要讨论分类。决策树学习的三个步骤： 1. 特征选择 2. 决策树生成 3.决策树修剪 第五章 决策树 1. 决策树模型与学习...

文章目录基础概念1. 线性可分支持向量机——数据线性可分2. 线性支持向量机——数据近似线性可分3. 非线性支持向量机——数据线性不可分第七章 支持向量机1. 线性可分支持向量机与硬间隔最大化1.1 函数间隔与几何间隔1.2 线性可分支持向量机2. 线性支持向量机与软间隔最大化基础概念支持向量机（SVM）是一种二分类模型，支持向量机的学习策略是——间隔最大化。1. 线性可分支持向量机——数...

文章目录基础概念第三章 k近邻法1.k近邻算法2.k近邻模型3.k近邻法的实现：kd树3.1 构造kd树3.2 搜索kd树基础概念k近邻法是一种基本的分类与回归方法，这里只讨论分类问题中的k近邻法。 第三章 k近邻法 1.k近邻算法算法描述：首先给定一个训练集，对于待分类的输入数据，在训练集中找到与该输入数据最邻近的k个样本，这k个样本中哪个类别最多，就把待分类数...

文章目录基础概念第六章 逻辑回归与最大熵模型1. 逻辑回归模型1.1 逻辑斯谛分布1.2 二项逻辑斯谛回归模型1.3 模型参数估计1.4 多项逻辑斯谛回归2. 最大熵模型3. 模型学习的最优化算法（略）3.1 改进迭代尺度法3.2 拟牛顿法基础概念逻辑回归与最大熵模型都属于对数线性模型。 第六章 逻辑回归与最大熵模型 1. 逻辑回归模型1.1 逻辑斯谛分布1....

文章目录基础概念数据集的线性可分性点到平面的距离第二章 感知机1.感知机模型2.感知机学习策略3.感知机学习算法基础概念数据集的线性可分性对于给定数据集，如果存在某个超平面 w⋅x+b=0w·x+b=0w⋅x+b=0，能够将数据集的正类和负类样本点完全正确划分，则称该数据集线性可分。点到平面的距离空间中任一点到超平面S的距离是：（平面S方程为w⋅x+b=0w·x+b=0w⋅x+b=0）...