机器学习算法
布拉拉巴卜拉
迎着光奔跑,爱吉他的梦想家
展开
-
机器学习(十二)~条件随机场(CRF)
机器学习(十二)~条件随机场(CRF)机器学习(十二)~条件随机场(CRF)1. HMM要点1.1 两个假设1.2 三组参数2. MEMM要点2.1 核心思想2.2 存在问题3. 条件随机场(CRF)4. Liner-Chain CRF公式与解析5. CRF三大问题6. CRF应用机器学习(十二)~条件随机场(CRF)终于把CRF这关过了,查了好多资料,网上很多资料都模棱两可,看了还是不明就里,建议小伙伴们最好的方法还是老老实实啃论文、啃书,权威又有逻辑,条理清晰,看不进去书的小伙伴们,这篇博客希望可以原创 2020-08-16 16:10:54 · 587 阅读 · 0 评论 -
机器学习(十一)~常见损失函数
常见损失函数1. 0-1损失函数2. 平方损失函数3. 交叉熵损失函数(负对数似然损失函数)4. Hinge损失函数5. 其他损失函数1. 0-1损失函数I(*)是指示函数评价:结果客观,但不连续且导数为0,难以优化2. 平方损失函数评价:一般不适用于分类问题3. 交叉熵损失函数(负对数似然损失函数)输出为各类别的条件概率分布交叉熵为:例如对于one-hot编码,一个样本的标签向量为y=[0,0,1]T,模型预测的标签分布为f(x;Θ)=[0.3,0.3,0.4]T,则交叉熵为原创 2020-06-08 21:15:02 · 337 阅读 · 0 评论 -
机器学习(十)~隐马尔科夫模型
隐马尔科夫模型1. 两个基本假设2. 三组参数3. 三个基本问题:4. 三类算法核心思路、区别与联系隐马尔科夫模型是关于时序的概率模型,通过隐藏状态→隐藏状态-观测的转移→观测,是生成模型1. 两个基本假设(1) 齐次马尔可夫性假设假设任意时刻的状态只依赖于前一时刻的状态,与其他时刻的状态无关,与时刻t无关(2) 观测独立性假设假设任意时刻的观测只依赖于该时刻的状态2. 三组参数初始状态概率矩阵π状态转移概率矩阵A输出观测概率矩阵B3. 三个基本问题:(1) 概率计算问题原创 2020-06-08 20:20:38 · 300 阅读 · 0 评论 -
机器学习(九)~聚类
机器学习(十三)~聚类1. 聚类1.1 相似度度量1.2 类特征1.3 类间距2. 原型聚类2.1 K-means2.2 学习向量量化2.3 高斯混合聚类3. 密度聚类4. 层次聚类4.1 三要素4.2 层次聚合聚类算法1. 聚类聚类既可用于发掘数据内在分布结构,又可作为其他学习任务的前驱过程(如提前探索有几种用户类型)1.1 相似度度量(1)闵可夫斯基距离(2)马哈拉诺比斯距离(3)相关系数(4)夹角余弦1.2 类特征类均值、类的直径、类的样本散布矩阵与样本协方差矩阵1.3 类间距原创 2020-06-02 21:23:51 · 210 阅读 · 0 评论 -
机器学习(八)~集成学习
机器学习(八)~集成学习1. 集成学习2. Boosting2.1 Boosting工作机制2.2 AdaBoost2.3 GBDT2.4 XgBoost2.5 小结3. Bagging3.1 自助采样法(Bootstrap)3.2 Bagging工作机制3.3 RandomForest3.4 小结4. 结合策略1. 集成学习集成学习通过将多个弱学习器结合,获得比单一学习器显著优越的泛化性能根据个体学习器的种类可分为同质集成与异质集成:同质集成: 同类型的个体学习器集成,例如“决策树集成”中全是原创 2020-05-27 07:45:31 · 288 阅读 · 0 评论 -
机器学习(七)~朴素贝叶斯
机器学习(七)~朴素贝叶斯1. 朴素贝叶斯模型2. 朴素贝叶斯法的参数估计2.1 极大似然估计2.2 朴素贝叶斯算法2.3 贝叶斯估计1. 朴素贝叶斯模型朴素贝叶斯是通过先验概率分布与条件概率分布学习到联合概率分布,从而计算后验概率分布,将后验概率最大的类作为类输出朴素贝叶斯法基本假设:条件独立性根据贝叶斯定理计算后验概率根据期望风险最小化准则得到后验概率最大化:优点: 高效,易于实现缺点: 条件独立性假设使算法简化,但分类性能不一定很高2. 朴素贝叶斯法的参数估计2.1 极大似原创 2020-05-27 07:15:49 · 193 阅读 · 0 评论 -
机器学习(六)~支持向量机模型
机器学习(六)~支持向量机1. 支持向量机模型2. 线性可分支持向量机2.1 原始问题2.2 对偶问题及求解2.3 线性可分支持向量机算法3. 线性支持向量机3.1 软间隔最大化3.2 对偶问题及求解3.3 线性支持向量机算法4. 非线性支持向量机4.1 核函数4.2 非线性支持向量机算法4.3 SMO(序列最小最优化算法)1. 支持向量机模型学习策略: 间隔最大化学习算法: 凸二次规划适用条件:当训练数据线性可分:线性可分支持向量机(硬间隔最大化)当训练数据近似线性可分:线性支持向量机(软间原创 2020-05-23 10:11:12 · 3108 阅读 · 0 评论 -
机器学习(五)~决策树算法
机器学习(五)~决策树算法机器学习(五)~决策树算法1. 决策树模型2.特征选择策略2.1 信息增益2.2 信息增益率2.3 基尼系数3.决策树算法3.1 决策树生成3.2 决策树剪枝3.3 CART算法机器学习(五)~决策树算法1. 决策树模型关键步骤: 特征选择、决策树的生成、决策树的修剪损失函数: 正则化的极大似然函数概率模型: 由于决策树表示一个条件概率分布,所以深浅不同的决策树对应着不同复杂度的概率模型决策树的生成考虑局部最优,决策树的剪枝考虑全局最优常用算法: ID3、C4.原创 2020-05-18 18:28:01 · 671 阅读 · 0 评论 -
机器学习(四)~KNN算法
机器学习(四)~KNN算法1. KNN模型2.策略2.1 距离度量2.2 K值选择2.3 分类决策规则3.KNN算法3.1【构造KD树】3.2 【KD树的最近邻搜索】1. KNN模型KNN模型关键要素:k值的选取,距离度量的方式和分类决策规则思路: 对测试样本搜索训练集中最相似的K个样本进行多数表决法预测优点: 简单,没有训练过程,没有显式的学习过程缺点: 当特征空间的维度大和训练数据容量大时,线性搜索最近邻点的算法的时间效率很成问题解决办法: kd树实现、球树实现等(思路:使用特殊结构存储原创 2020-05-17 17:59:45 · 483 阅读 · 0 评论 -
机器学习(三)~感知机模型
机器学习(三)~感知机模型1. 感知机模型2. 感知机学习策略3. 感知机学习算法1)算法原始形式2)算法收敛性3)算法对偶形式1. 感知机模型感知机是一种线性分类模型,属于判别模型。2. 感知机学习策略适用条件: 数据集具有线性可分性当训练集线性不可分时,感知机学习算法不收敛,迭代结果会发生震荡假设空间: 定义在特征空间中所有线性分类器,即函数集合{f|f(x)=w·x+b}损失函数:损失函数的自然选择是误分类点个数,但由于这样定义的损失函数不是关于w,b的连续可导函数,不易优化,因原创 2020-05-17 12:00:52 · 399 阅读 · 0 评论 -
机器学习(二)~模型分类与应用
机器学习(二)~模型分类与应用1. 监督学习、无监督学习与强化学习1.1 理解1.2 区别2.监督学习应用3.概率模型与非概率模型4.线性模型与非线性模型5.参数化模型与非参数化模型1. 监督学习、无监督学习与强化学习1.1 理解监督学习: 假设数据独立同分布,从标注数据中学习预测模型无监督学习: 输入数据没有被标记,也没有确定的结果。半监督学习: 利用少量标注样本和大量未标注样本辅助进行机器学习强化学习: 智能系统在与环境的连续互动中学习最优行为策略的机器学习问题,它主要包含四个元素,agen原创 2020-05-17 10:17:18 · 852 阅读 · 0 评论 -
机器学习(一)~模型评估与选择 之 *正则化
机器学习(一)~模型评估与选择 之 *正则化目的: 正则化是为了防止过拟合,选择经验风险和模型复杂度同时较小的模型,进而增强泛化能力(能够很好的解释数据并且十分简单的模型就是最好的模型<奥卡姆剃刀原理>)在分析正则化之前,需要先了解下面两个问题:1)参数变稀疏有何优点?实现参数稀疏帮助模型进行特征选择,避免不重要特征对数据的干扰,增强泛化能力参数变少可以使整个模型获得更好的可解释性2)参数值变小变均匀有利于缓解过拟合吗?参数值较大,结果随特征变化敏感,会使得预测值在较小的空原创 2020-05-16 17:20:58 · 949 阅读 · 0 评论 -
机器学习(一)~模型评估与选择 之 *性能度量
机器学习(一)~模型评估与选择 之 *性能度量1.错误率与精度错误率和精度是分类任务中最常用的两种性能度量,既适用于二分类也适用于多分类错误率(error rate):分类错误的样本数占样本总数的比例准确率(accuracy):1 - 错误率例如:当损失函数是0-1损失时,测试误差/错误率etest 和准确率rtest 为:测试误差/错误率精度显然,etest + rtest = 12.查准率、查全率与F1错误率和精度虽常用,并不能满足所有任务需求,例如想知道挑出的多少瓜是好瓜原创 2020-05-15 13:20:11 · 437 阅读 · 0 评论 -
机器学习(一)~模型评估与选择 之 *数据集划分与调参
机器学习(一)~模型评估与选择 之 *数据集划分与调参1.训练集、测试集与验证集训练集: 模型训练数据测试集: 评估泛化能力验证集: 模型选择与调参为了研究对比不同算法的泛化性能,用测试集上的拟合效果来估计不同模型的泛化能力,而把训练集再分为训练集和验证集,基于验证集上的性能来进行模型选择和调参2.划分原则与方法原则: 训练集/测试集的划分应尽可能保持数据分布一致性,测试集应尽可能与训练集互斥,即未被同时用于训练,避免引入额外偏差影响最终结果留出法: 直接将数据集划分为两个互斥的集合,单原创 2020-05-15 11:20:21 · 2047 阅读 · 1 评论 -
机器学习(一)~模型评估与选择 之 *经验误差与过拟合
机器学习(一)~模型评估与选择 之 *经验误差与过拟合1. 错误率与准确率2. 泛化能力3. 偏差与方差4. 过拟合与欠拟合出现原因应对方案1. 错误率与准确率目的:得到泛化误差最小方法:由于测试集实现未知,只能通过经验误差来评估泛化误差错误率(error rate):分类错误的样本数占样本总数的比例准确率(accuracy):1 - 错误率例如:当损失函数是0-1损失时,测试误差/错误率etest 和准确率rtest 为:显然,etest + rtest = 12. 泛化能力误差原创 2020-05-14 22:42:10 · 461 阅读 · 0 评论