wxl1999的博客

在导师的安排下，终于开始了学习机器学习的漫漫征途。说到这，不禁想起昨日与我哥说起学习机器学习这句话的两种理解。一是，学习|机器学习；二是，学习机器|学习。值得一提的是后者，大一下学期我在信通院旁听张闯老师的python编程与实践这门课时，就听老师提到过，研究机器学习有助于理解人是如何学习的。不料前二日读西瓜书绪论中应用现状一节，发现周老师也提到，机器学习有助于“通过建立一些关于学习的计算模型来...

多层感知机文章目录多层感知机隐藏层激活函数Relu函数Sigmoid函数tanh函数多层感知机隐藏层多层感知机在单层神经⽹络的基础上引⼊了⼀到多个隐藏层（hiddenlayer）。我们先来看一种含单隐藏层的多层感知机的设计。其输出O∈Rn×q\boldsymbol{O} \in \mathbb{R}^{n \times q}O∈Rn×q的计算为H=XWh+bh,O=HWo+bo,\...

模型选择、欠拟合和过拟合训练误差和泛化误差训练误差指模型在训练数据集上表现出的误差泛化误差指模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。让我们以⾼考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年⾼ 考试题（训练题）时的错误率，泛化误差则可以通过真正参加⾼考（测试题）时的答题错误率来 近似。假设训练题和测试题都随机采样...

动手学深度学习读书笔记-1前言应用深度学习的关键问题的动机和特点；将大量不同类型神经⽹络层通过特定方式组合在⼀起的模型背后的数学原理；在原始数据上拟合极复杂的深层模型的优化算法；有效训练模型、避免数值计算陷阱以及充分利⽤硬件性能所需的⼯程技能；为解决⽅案挑选合适的变量（超参数）组合的经验。深度学习简介机器学习和深度学习应用的核心思想：用数据编程通俗来说，机器学习是一门...

缓解过拟合权重衰减权重衰减等价于L2范数正则化（regularization）。L2范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。 L2范数惩罚项指的是模型权重参数每个元素的平⽅和与⼀个正的常数的乘积。丢弃法丢弃法有⼀些不同的变体。本节中提到的丢弃法特指倒置丢弃法（inverteddropout）设丢弃概率为ppp，那么有ppp的概率hi...

正向传播、反向传播和计算图正向传播正向传播是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。为简单起见，假设输入是一个特征为x∈Rd\boldsymbol{x} \in \mathbb{R}^dx∈Rd的样本，且不考虑偏差项，那么中间变量z=W(1)x,\boldsymbol{z} = \boldsymbol{W}^{(1)} \boldsymbol{x...

数值稳定性和模型初始化深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。衰减和爆炸当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为LLL的多层感知机的第lll层H(l)\boldsymbol{H}^{(l)}H(l)的权重参数为W(l)\boldsymbol{W}^{(l)}W(l)，输出层H(L)\boldsymbol{H}^{(...

深度学习基础线性回归线性回归输出是⼀个连续值，因此适⽤于回归问题。模型设房屋的⾯积为x1，房龄为x2，售出价格为y。我们需要建⽴基于输⼊x1和x2来计算输出y的表达 式，也就是模型（model）线性回归假设输出与各个输⼊之间是线性关系y^=x1w1+x2w2+b\hat{y}=x_{1} w_{1}+x_{2} w_{2}+by^​=x1​w1​+x2​w2​+b其中w1和w2...

降维与度量学习的核心思想就是降维，这与SVM中的升维恰恰相反思维导图： 

这次做思维导图省去了不少细节，感觉比神经网络那张要清爽不少，显得简明扼要。核线性判别分析这里不是特别明白，需要回头看。 

1.1 引言定义：Arthur Samuel：不显式编程地赋予计算机能力的研究领域。 Mitchell：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，就说关于T和P，该程序对E进行了学习。 周志华：机器学习的主要内容：关于在计算机上从数据中产生“模型”的算法，即“学习算法”。1.2 基本术语数据：分类：泛化能力：...

2.1 经验误差与过拟合错误率：分类错误的样本数占样本总数的比例 精度 = 1 - 错误率 误差 2.2 评估方法以测试集上的测试误差作为泛化误差的近似 测试样本尽量不在训练集中出现、未在训练集中使用过2.2.1 留出法直接将数据集D划分为两个互斥的集合，一个是训练集S，另一个是测试集T，即。 数据集的划分要尽可能保持数据分布的一致性，避免引入额外偏差。比如，在分类...

高斯混合聚类这里的推导过程不是特别明白，其中涉及到的EM算法也得去看一看思维导图： 

突然发现线性模型这一章没写，补上！思维导图： 

2.3 性能度量定义：衡量模型泛化能力的评价标准。 对比不同模型时，使用不同的性能度量往往会导致不同的评判结果。这意味着模型的“好坏”是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。 给定样例集，其中yi是示例xi的真实标记，待评估的学习器为f。 回归任务中，最常用的性能度量是“均方误差”：。 更一般的，对于数据分布D和概率密度函数p(·)，。分类任务中的性能度...

2.4 比较检验问题：希望比较的是泛化技能，实验评估方法得到的是测试集上的性能’ 测试集上的性能与测试集本身的选择有很大关系。大小、包含测试样例的不同，都会影响测试结果。 很多学习算法有一定随机性采用统计假设检验2.4.1 假设检验学习器泛化错误率为，测试错误率为，在包含m个样本的测试集上，泛化错误率为的学习器被测得测试错误率为的概率为：，符合二项分布，P在=时最大，二者距离变大...

第一次听到思维导图这个概念应该是在高中了，但是总觉得画起来比较麻烦（其实是画得太丑），一直也没有用上过，今天算是第一次运用思维导图。搜索绘图工具的时候，无意中发现百度脑图这个好东西，不同于那些吃相难看的百度系产品，它用起来很简单也很方便，没有太多花里胡哨的东西。因为一些琐事，断断续续用了两三天，每天一小时左右，感觉细节还是多了一些，是好事也是坏事。 ...

softmax回归分类我们通常使用离散的数值来表示类别，例如y1=1,y2=2,y3=3y_1=1, y_2=2, y_3=3y1​=1,y2​=2,y3​=3。如此，一张图像的标签为1、2和3这3个数值中的一个。虽然我们仍然可以使用回归模型来进行建模，并将预测值就近定点化到1、2和3这3个离散值之一，但这种连续值到离散值的转化认为设定了次序，通常会影响到分类质量。因此我们一般使用更加适合离...