真·skysys
萌即正义 ^ω^ ヾ(o◕∀◕)ノヾ ヽ(≧□≦)ノ ヾ(・ω・`。)
展开
-
国科大机器学习期末复习题库
考试主要是选择(单选,多选),下面概念只需记个大概,有印象就行了。原创 2024-01-19 17:14:16 · 242 阅读 · 0 评论 -
线性回归,多元线性回归,正则化项的理解
线性回归一元线性回归:训练数据中特征是单个,但特征值可以是多个 y=wx+b (w: 是单个值)多元线性回归:训练数据中特征数量是多个 y=W1X1+W2X2+W3X3+…+b 或表示为:y=Wx+b(W:w1,w2,w3…组成的向量的转置)模型训练为的就是确定参数W的取值:但是,当测试数据中,特征数量比样本数还多的多的时候,可能产生多组解(解线性方程组的时候,因变量过多,则有可能解出多组解),多组解如何选择呢?取决余算法的归纳偏好,所有就有了正则化。正则化项:L1范数和L2范数损失函数:原创 2021-01-04 08:36:32 · 1013 阅读 · 0 评论 -
多分类学习:OvO、OvR、ECOC
OvOOvRMvMECOCECOC 是 Error-Correcting Output Codes 的缩写。中提到 ECOC 可以用来将 Multiclass Learning 问题转化为 Binary Classification 问题,本文中我们将对这个方法进行介绍。要了解 ECOC ,可以从 One-vs-Rest 的 Multiclass Learning 策略出发。回忆一下,对于一个 K 类的分类问题,One-vs-Rest 策略为每一个类 i 都训练一个 binary c原创 2021-01-04 08:05:36 · 1628 阅读 · 0 评论 -
集成学习相关考点
1.集成学习分哪几种,有何异同?Bagging在训练的过程中,各弱分类器无强依赖,可以进行并行训练,更像是一个集体决策的过程,最终做决策的时候,每个个体单独做判断,在通过投票的方式做出最后的集体决策boosting采用弱分类器串行的方式,有依赖。基本思路是将弱分类器叠加,每一层在训练的时候,对前一层的弱分类器分错的样本,给予更高的权重。测试时,根据各层分类器的结果的加权得到最终结果。再从偏差和方差的角度来理解区别弱分类器的错误率要大于集成分类器,弱分类器的错误,是偏差和方差两种错误的和。偏差主要转载 2021-01-04 03:51:37 · 500 阅读 · 1 评论 -
机器学习基础考试复习
简答题SVM方法中支持平面上把两类类别分别分开来的超平面的向量点称作支撑向量K-medoids算法不通过计算簇中所有样本的平均值得到簇的中心,而是通过选取原有样本中的样本点作为代表对象代表这个簇。函数的梯度方向是函数变化最快的方向信息增益表示得知特征X信息而使得类Y的信息不确定性减少的程度。CART决策树方法对分类树用基尼指数最小化准则进行特征选择,生成二叉树。回归和分类都是有监督学习问题。C4.5决策树生成方法中,用信息增益比来选择特征。朴素贝叶斯分类模型假设问题的特征之间都是互不相关的转载 2021-01-04 03:48:09 · 4308 阅读 · 2 评论 -
北理工-机器学习MOOC # Ch5 聚类分析
数据相似性度量经典聚类方法K-MeansK中心点方法核K-MeansEM聚类谱聚类基于约束的聚类在线聚类聚类与降维原创 2021-01-03 15:59:32 · 327 阅读 · 0 评论 -
北理工-机器学习 # 试题
Ch1 绪论下列哪位是人工智能之父? Marniv Lee Minsky根据王珏的理解,下列属于对问题空间W的统计描述是: 一致性假设\划分\泛化能力下列描述无监督学习错误的是? 不需要降维正确的是:无标签、核心是聚类、具有很好的解释性下列描述有监督学习错误的是?所有数据都相互独立分布 (错误原因:这个是近似假设)正确的是:有标签、核心是分类、分类原因不透明下列哪种归纳学习采用符号表示方式? 经验归纳学习混淆矩阵的假正是指: 模型预测为正的负样本混淆矩阵的真负率公式是为: TN/(TN原创 2021-01-03 14:12:16 · 3338 阅读 · 0 评论 -
北理工-机器学习MOOC # Ch4 支持向量机
线性支持向量机非线性支持向量机一分类/多分类支持向量机异常值检测实际上可视为一类分类问题原创 2021-01-02 20:25:05 · 504 阅读 · 0 评论 -
北理工-机器学习MOOC # Ch3 主题建模
什么是主题?主题:词集合上的概率分布什么是主题建模?两种观点看待主题建模主题建模的关键假设每个文档含有c个主题LDALDA的基本结构吉布斯采样 Gibbs SamplingLDA的参数学习...原创 2021-01-02 15:11:47 · 221 阅读 · 0 评论 -
北理工-机器学习MOOC # Ch2 期望最大化算法 EM算法
应用例子1需求:想看这些数据背后是由多少个高斯混合的数据混合而成。左图数据通过EM算法求解之后,发现分成了很多堆,可以把这个值求出来例子2主题建模模型里的一个模型pLSA基本思想:把D跟W这样的矩阵分解成俩个矩阵,分解成一个是Z对W的一个分解,另一个是d对Z的一个分解d对Z的一个分解就是我们在主题建模里面讲的在文档内部的主题的分布z对w的一个分解的话就是z在这样一个池上面的概率分布,也就是主题建模领域的主题的概念在求解这个模型的参数的时候采用的就是EM算法例子3:启发.原创 2021-01-02 14:21:09 · 383 阅读 · 0 评论 -
北理工-机器学习MOOC # Ch1 绪论
每一阶段都需要技术和理论的创新来推动行业和领域的进展机器学习分类评估方法性能度量越靠近左上角代表ROC的值越大,代表分类的准确率越高原创 2021-01-02 01:21:51 · 517 阅读 · 0 评论 -
机器学习笔记 # Ch1 绪论
关于序言中提到了一个问题:”为什么机器学习要求数据是独立同分布的?”,参考《机器学习 # 为什么机器学习要求数据是独立同分布的?》ML - Machine Learning 即机器学习(后文略写)序言中周老师讲到,ML领域研究重心有所变化:早期=>纯粹的理论和模型研究如今=>以解决现实生活中实际问题为目的的应用研究著名著作:李航《统计学习方法》 周志华《机器学习》(推荐结合一起看) 另外还有PRML关于西瓜书的学习建议西瓜书的推导跳步跳的很潇洒,干啃肯定是需要比较好的数学基础,原创 2020-12-13 17:04:59 · 402 阅读 · 0 评论 -
机器学习 # 为什么机器学习要求数据是独立同分布的?
先修知识:《概率论与数理统计》随机过程 Stochastic Process随机过程,是依赖于参数的一组随机变量的全体,参数通常是时间。随机变量是随机现象的数量表现,其取值随着偶然因素的影响而改变。例如,某商店在从时间t0到时间tK这段时间内接待顾客的人数,就是依赖于时间t的一组随机变量,即随机过程。划重点: 注意品一下“一组随机变量”这里的“一组”的含义。数学上的随机过程可以简单的定义为一组随机变量,即指定一参数集,对于其中每一参数点t指定一个随机变量x(t)。如果回忆起随机变量自身就是一个函.原创 2020-11-26 04:14:02 · 1907 阅读 · 0 评论