![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 68
reindexx
这个作者很懒,什么都没留下…
展开
-
【机器学习基础】CH3 - 非监督学习(1)PCA
手写笔记(not completed)原创 2021-12-05 00:12:31 · 105 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(10)基础学习理论和PAC
手写笔记原创 2021-12-05 00:09:23 · 651 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(8)深度学习
手写笔记(not completed)RNN原创 2021-12-05 00:06:03 · 602 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(7)神经网络
2.7 神经网络我们以讨论基于线性基础模型及其变体的监督学习模型为开始,包括内核机和支持向量机。 所有这些模型的共同点是,基本函数或特征映射是先验 a priori 选择的,不依赖于训练数据集 。 在2.5节中,我们介绍了决策树,这是第一个例子,在训练时根据 数据集 选择 基函数 。 具体而言,决策树基函数 ϕj(x)=1x∈Rjϕ_j(x) = 1_{x∈R_j}ϕj(x)=1x∈Rj 依赖于从数据中学习到的小区域{Rj}\{\mathcal{R}_j\}{Rj},例如使用递归分裂算法。在这原创 2021-11-15 21:48:01 · 1164 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(?)交叉验证
Cross validation__测试数据__是对我们模型性能的最终测试。我们是否总是依赖__测试数据__进行模型评价和选择?它并不总是可用的没有平均误差估计:取决于怎么分的组我们可能会对测试数据进行“过度拟合”:...原创 2021-11-15 20:28:14 · 1003 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(6)集成
2.6 Model EnsemblingBagging reduces variance Boosting reduces bias决策树最明显的缺点是,它们容易过拟合:如果深度较低,逼近能力就较低,但当深度较大时,数据往往会过度拟合。 图2.7给出了一个说明。然而,有一类方法极大地克服了这一缺点,它们使决策树的应用更加广泛。 这些方法被称为 集成方法 ,我们将一组弱学习器 weak learners (来自小假设空间的模型)组合起来,形成一个具有良好近似和泛化特性的强学习器 strong lea原创 2021-11-14 15:29:42 · 900 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(5)决策树
2.5 决策树到目前为止,我们已经研究了线性或线性基模型及其核变量。 在本节中,我们将考虑一种不同的分类或回归方法,在这种方法中,分类器是分段常数函数。 这类方法中最简单的是决策树,它将输入空间 分层 或划分为简单的规则区域,并为每个区域分配一个 常数 预测。决策树是一种非常自然的决策模型,由一类易于解释的机器学习模型组成,从这个意义上说,我们可以很容易地推断出模型是如何得到预测的。 使用决策树的回归和分类模型称为CART classification and regression trees,即分类原创 2021-11-14 00:01:41 · 1165 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(4)支持向量机SVM
2.4 Support Vector Machine 支持向量机正如我们在核岭回归中所见,尽管 kernel trick 使我们免于显式处理很大甚至无穷大的 feature space dimensions,计算 Gram matrix 时,我们也得计算每对儿点的 k(xi,xj)k(x_i,x_j)k(xi,xj)。如果我们有 NNN 个数据点,相当于每个预测/推断都有 N2N^2N2 个运算。NNN 很大时,很消耗成本。那么有没有用于计算大量数据的核方法呢?这就是 sparse kernel m原创 2021-11-12 15:25:49 · 131 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(3)核方法
2.3 Kernel Methods 核方法recall: 在2.2.2部分,我们看到,general linear basis models 通过依靠一组函数 {ϕj}\{\phi_j\}{ϕj} 将输入 xi∈Rdx_i \in \mathbb{R}^dxi∈Rd 转换在 R\mathbb{R}R 上。而 {ϕj}\{\phi_j\}{ϕj} 被称为 feature maps 特征映射,它们将从输入数据中提取__有用的特征__,并允许我们在生成的空间 R\mathbb{R}R 中使用__线性模原创 2021-11-12 00:25:49 · 294 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(2)线性模型
1.原创 2021-09-15 16:36:10 · 192 阅读 · 0 评论 -
【机器学习基础】CH2 - 监督学习(1)概述
1. Overview1.1 监督学习监督学习是机器学习最基础的一个分类之一。假设一数据集 D={xi,yi}i=1N\mathcal{D}=\{x_i,y_i\}^N_{i=1}D={xi,yi}i=1Nxix_ixi 为输入yiy_iyi 为对应的标签NNN 为数据集的大小默认假设每一个 yiy_iyi 都由 xix_ixi 决定,且二者符合映射 f∗f^*f∗,即:yi=f∗(xi)y_i=f^*(x_i)yi=f∗(xi)。f∗f^*f∗ 又称为 oracleo原创 2021-09-03 01:18:31 · 171 阅读 · 0 评论 -
【机器学习基础 】CH1 - 简介
CH1- 简介1. 概述1.1 图灵测试1.2 机器学习2. 数据2.1 数据分类2.2 Ordinal data2.3 Nominal data / Categorical data3. 机器学习分类3.1 监督学习3.2 非监督学习3.3 强化学习4. 评估ML模型5. Notation1. 概述1.1 图灵测试Turing test图灵提出问题“机器可以思考吗”,即“机器可以做有思想的人做的事吗”如何判断机器是有思维的?如果通过图灵测试(人类无法区分是人还是机器),则可认为机器是有思维的。原创 2021-09-02 21:31:01 · 345 阅读 · 0 评论