q339179198的博客

10 回归模型 --机器学习基础理论入门1.1 线性回归模型梯度下降法最小化损失函数常用方法就是梯度下降算法，如果要收敛到最小值附近，则函数须为凸函数。如果凹凸不平，不易得到整体最小值。在多元微分学中，梯度就是函数的导数方向。沿着梯度方向可以保证能够快速达到极小值点。梯度方向就是函数在某个点的切线方向，即导数=0.梯度下降算法推导过程回归模型求解过程三种线性回归模型线性回归模型优缺点优点1） 形式简单，易于建模：同事蕴含机器学习中的基本思想（思想、策略、算法）2） 可演变为其

15 机器学习模型评估指标–机器学习基础理论入门7.1 回归问题评估指标绝对误差绝对误差为预测点与真实点之间距离之差的绝对值的平均值，即：均方误差均方误差为预测点与实际点之间距离之差平方和的均值，即因为绝对误差不是光滑的函数，所以一般都是使用均方误差作为回归问题的评估指标。7.2 分类问题评估指标分类问题结果类别：混淆矩阵TN：True negative真阴；FP：False positive假阳FN：False negative假阴；TP：True positive真阳1)

14 机器学习模型复杂度度量 – 机器学习基础理论入门6.1 经验风险与结构风险机器学习三要素机器学习 = 模型 + 策略 + 算法模型：所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数；要考虑的是按照什么样的准则从这些假设空间中选取到最优模型。策略：风险最小化或结构风险最小化。损失函数用来度量一次预测的好坏，风险函数度量平均意义下模型预测的好坏。模型关于数据集的平均损失称为经验风险（empirical risk）；再经验风险上加上表示模型复杂度的正则化项或惩罚

13 聚类模型 – 机器学习基础理论入门4.1 聚类问题介绍定义聚类分析又称群分析，目标时将样本划分为紧密关系的子集或簇应用聚类分析在实际中应用非常广泛，如：市场细分、社交圈分析、天体数据分析等聚类要求聚类分析的目标时将样本划分为紧密关系的子集或簇。一般要求同一类内的相似度尽量大，不同类间的差异度尽量大。常用聚类算法（1） KMeans聚类（2） 层次聚类（3） 密度聚类（4） 高斯混合聚类（5） 谱聚类4.2 K-Means聚类Kmeans聚类过程Kmeans算法时无监

9 正则化概述 --机器学习基础理论入门9.1 模型过拟合问题过拟合的概念：过拟合就是训练出来的模型在训练集上表现很好，但是在测试集上表现较差的一种现象。图1欠拟合，图3过拟合模型出现过拟合的原因（1） 数据有噪声（2） 训练数据不足，有限的训练数据（3） 训练模型过度导致模型非常复杂防止过拟合的方法（1） early stopping：可能陷入局部最优（2） 数据集扩增：SMOTE（3） 正则化方法9.2 回归问题介绍传统编程VS机器学习机器学习的数据回归问题定义

8 模型分类总结 机器学习基本理论入门监督学习与非监督学习简介简介内容（1） 牢记并且理解机器学习的基本概念（2） 理解监督学习和非监督学习的区别（3） 建立起特征工程的概念（4） 了解常见的监督学习算法和非监督学习算法经典监督学习算法（1） 牢记信息论的基本公式（信息熵、交叉熵计算）（2） 决策树属性划分的几种依据以及缺点（3） 熟练掌握回归模型中的矩阵运算（4） 了解矩阵运算时各种情况的求解（满秩、秩亏损）（5） 线性到非线性的变换（换汤不换药，掌握这种非线性变换的思想）经典

7 判别式模型–机器学习基础理论入门7.1 判别式模型与生成模型的区别判别式模型和生成模型的核心前置知识是判别式函数，其差异主要是对判别式函数的处理方式。一般来说，判别式模型和生成模型都是监督学习。贝叶斯公式再谈因为类先验的概率可以统计，所有类似然的概率是关键点。生成模型的关注点根据上课内容可知，自然现象大多满足正态分布，二项分布还是比较少的。如果已经假设类似然满足正态分布，那类似然函数也可以写出，接着判别式函数也可以写出，然后可以机进行计算，最后选择概率最大的类。判别式模型的关注点

5 生成模型 机器学习基础理论入门6.1 概率论基础快速回顾概率的性质减法性质：P(A-B)=P(A)-P(AB)加法性质：P(A+B)=P(A)+P(B)-P(AB)条件概率和概率的基本公式条件概率事件A发生的条件下，事件B发生的条件概率，记为P(B|A)，且：P(B|A)=P(AB)/P(A)三个基本公式乘法公式：P(AB)=P(A)P(B|A)全概率公式：贝叶斯公式：思考题设某公路上经过的货车和客车的数量之比为2：1，货车中途停车修理的概率为0.02，客车为0.01，今

4 经典非监督学习算法—K-Means聚类 机器学习基础理论入门4.1 高斯混合模型本节内容主要是介绍单变量高斯混合模型的数学表示和集合表示，虽然在K均值聚类中没有很多用武之地，但是在期望最大算法中，五年会更深入的了解一般意义上的高斯混合模型以及高斯混合聚类。单高斯模型（gaussian single model）中间多，两边少时高斯模型的典型特征高斯混合模型（gaussian mixed model）随机变量X属于k个单高斯模型中的某一个，那么：4.2 度量距离的几种方法这里的

1 监督学习与非监督学习简介–机器学习基础理论入门1.1 机器学习基本概念什么是机器学习机器学习:机器学习（machine learning，ML）是一门多领域交叉学科，设计概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。输入训练集（training set）:用于建立模型验证集（validation set）:用来检验最终选择最优的模型的性能如何测试集(test set