![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
lavendelion
这个作者很懒,什么都没留下…
展开
-
机器学习代码实现篇——SVM
SVM代码实现1. SVM原理推导1.1 超平面、函数间隔和几何间隔1.2 间隔最大化原则1.3 为什么SVM叫支持向量机?1.4 带约束的最优化问题求解1.5 SMO算法2. SVM代码详解1. SVM原理推导1.1 超平面、函数间隔和几何间隔 1).超平面 简单用数学语言描述超平面就是:w⋅x+b=0⇒∑inwi⋅xi+b=0w·x+b=0 \Rightarrow \sum_i^...原创 2019-10-14 15:59:44 · 1216 阅读 · 3 评论 -
机器学习笔记补充——隐马尔可夫模型
隐马尔可夫模型0. 马尔可夫模型介绍1. 隐马尔可夫模型的基本概念1.1 隐马尔可夫模型的定义1.2 符号说明:1.3 隐马尔可夫模型的前提假设1.4 隐马尔科夫模型的示例1.5 隐马尔可夫模型的3个基本问题2.概率计算问题算法2.1 前向算法2.2 后向算法2.3 一些概率与期望值的计算3.学习问题算法3.1 监督学习隐马尔可夫模型3.2 无监督学习隐马尔可夫模型——Baum-Welch算法(E...原创 2019-10-03 11:00:59 · 332 阅读 · 0 评论 -
机器学习笔记补充——EM算法及其在GMM中的应用
EM算法——期望极大值算法1. EM算法的简介及案例介绍2. EM算法的推导 本文内容主体是基于李航老师的《统计学习方法》第二版中EM算法章节的内容,有兴趣的同学可以自行参考书籍资料。其中个人觉得不是很直观的部分进行了适当的解释,解释仅属于个人理解,若觉得解释更加难以理解的同学可以自行忽略。代码部分有时间再补充。若文中有编辑错误,烦请指正,谢谢。1. EM算法的简介及案例介绍 EM算法是...原创 2019-09-25 13:42:35 · 589 阅读 · 0 评论 -
机器学习笔记补充——提升(boosting)
提升Boosting1. 提升简介2. AdaBoost算法2.1 算法思路及步骤2.2 AdaBoost算法的训练误差分析2.3 AdaBoost算法的推导1. 提升简介 强可学习(strongly learnable):一个概念,如果存在一个学习算法能够学习它,并且正确率很高,则称为是强可学习的; 弱可学习(weakly learnable):一个概念,如果存在一个学习算法能够学习它...原创 2019-09-15 09:31:03 · 296 阅读 · 0 评论 -
机器学习笔记补充——决策树
决策树1.决策树简介1.1 决策树的定义1.决策树简介1.1 决策树的定义 众所周知,定义是一种概念的高度概括,尽管其包含的信息量很多很精华,但总是枯燥又无趣的。所以,在介绍定义前,先来看个引例,方便后续理解。 引例: 以教育为例,假设每个人都是一个样本(对应数据集),孔夫子说过,教育需要因材施教,所以我们的目标是尽可能地将每个人归到最适合自己的专业领域(对应数据标签),即专业是我...原创 2019-09-10 13:42:35 · 412 阅读 · 0 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week8
Week8 非监督学习——聚类、PCA1 什么是非监督学习?2 k均值聚类(k-Means)算法2.1聚类的定义2.2 k均值聚类算法2.3 其他聚类算法(拓展)2.4 聚类的衡量指标(拓展)3 降维3.1什么是降维?降维有什么用?3.2 主成分分析问题(PCA,Principal Component Analysis)1 什么是非监督学习?无监督的学习方式: 样本不是(xi,yi)(x_...原创 2019-08-31 17:09:04 · 474 阅读 · 0 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week7
Week7 支持向量机,SVM1.支持向量机(SVM,Support Vector Machine)的数学表达1.1从逻辑回归过渡到SVM1.支持向量机(SVM,Support Vector Machine)的数学表达 本章中的向量和矩阵不再加粗,请读者自行判断,如有疑问可以留言咨询。1.1从逻辑回归过渡到SVM 从另一角度分析逻辑回归的sigmoid函数。对于二分类问题,我们希望的是...原创 2019-08-31 15:56:11 · 303 阅读 · 0 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week6
Week5 机器学习的应用技巧1.机器学习的应用2.机器学习诊断法2.1 评估数学模型2.2 学习曲线(Learning Curves)3.实战技巧3.1垃圾邮件分类器3.2 推荐的技巧3.3 常见的判别模型指标3.4 数据越多越好吗?1.机器学习的应用 如果学习后的模型在测试集上有很大的误差,该怎么办? 1).收集更多的数据作为数据集;(处理过拟合) 2).简化问题的数学模型,即减...原创 2019-08-28 10:45:36 · 445 阅读 · 0 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week5
Week5 神经网络21. 神经网络的损失函数1.1 参数说明1.2 分类问题2. 反向传播(Backpropagation)2.1 反向传播的作用2.2 梯度下降法中梯度的计算2.3 反向传播算法的使用步骤2.4 反向传播算法的原理(拓展)3. 梯度检查4. 随机初始化5. 构造神经网络的步骤5.1 神经网络结构的构建5.2 训练神经网络1. 神经网络的损失函数1.1 参数说明 L是神经...原创 2019-08-27 16:31:45 · 313 阅读 · 0 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week4
Week4 神经网络11.非线性模型——神经网络(Neural Networks)介绍2.神经网络的数学表达2.1术语和参数说明2.2 神经网络的计算3 神经网络的简单案例3.1实现AND、OR、NOT等案例3.2实现XNOR功能3.3 神经网络处理多分类问题1.非线性模型——神经网络(Neural Networks)介绍 线性回归和逻辑回归可以解决非线性模型,为什么还需要神经网络? 因...原创 2019-08-26 11:01:34 · 357 阅读 · 0 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week3
Week3 逻辑回归、过拟合和正则化1. 逻辑回归(Logistic Regression)介绍1.1 逻辑回归是什么,为什么需要用逻辑回归?2.逻辑回归的数学表达2.1Sigmoid方程及其特性2.2逻辑回归的数学表达式2.3 逻辑回归的“非线性拟合”3.逻辑回归的几何解释4.逻辑回归参数向量θ的选择4.1 逻辑回归的损失函数4.2 logistic回归的损失函数的简化4.3逻辑回归的梯度下降法...原创 2019-08-25 17:14:36 · 283 阅读 · 1 评论 -
Coursera-吴恩达机器学习课程个人笔记-Week2
Week2 线性回归和梯度下降法参数说明1.多特征的线性回归方程2.梯度下降法(Gradient Descent)2.1如何选择参数向量$\textbf{θ}=(θ_0, θ_1,…,θ_n)$呢?2.2优化梯度下降法的方法 1).特征缩放(特征标准化) 2).学习率α的选择2.3批量梯度下降算法和随机梯度下降算法3.线性回归的“非线性拟合”新的改变功能快捷键合理的创建标题,有助于目录的生成如...原创 2019-08-25 09:24:13 · 331 阅读 · 0 评论