- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 拉格朗日乘数法
【百度百科】在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。【理解】在求函数极值的时候（比如：），如果有另有其他的条件对变量有所约束()，需要在变量受约束的情况下求目标函数的极值，那么就可以
2021-07-22 17:38:21
1908
2
原创 《统计学习方法(第二版笔记)》第5章 决策树
目录5.1 决策树模型与学习5.1.1 决策树模型5.1.2 决策树与 if-then 规则5.1.3 决策树与条件概率分布5.1.4 决策树学习决策树（decision tree）是一种基本的分类与回归方法。在分类问题中，它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。优点是模型具有可读性，分类速度快。决策树学习通常包括3个步骤：特征选择、决策树的生成、决策树的修剪。5.1 决策树模型与学习5.1.1 决策树模型定义 5.1 （决策树）分类决策树模型
2020-09-22 19:30:02
709
原创 《统计学习方法(第二版笔记)》第4章 朴素贝叶斯法
目录4.1 朴素贝叶斯法的学习与分类4.1.1 基本方法4.1.2 后验概率最大化的含义朴素贝叶斯法（naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法与贝叶斯估计（Bayesian estimation）是不同的概念。4.1 朴素贝叶斯法的学习与分类4.1.1 基本方法设输入空间 χ∈Rn\chi \in R^nχ∈Rn 为 nnn 维向量的集合。X 是定义在输入空间 χ\chiχ 上的随机变量，Y 是定义在输出空间 Y 上的随机变量，输出空间为类标记集合{c1,c
2020-09-08 15:05:46
266
原创 《统计学习方法(第二版)》第3章 k近邻法
目录3.1 k 近邻算法3.2 k 近邻模型3.2.1 模型3.2.1 距离度量3.2.3 k 值的选择3.2.4 分类决策规则3.3 k 近邻法的实现： kd树3.3.1 构造 kd 树3.3.2 搜索 kd 树本章概要本章代码与练习k 近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归算法。输入实例的特征向量，输出分类。k 近邻法1968年由 Cover 和 Hart 提出。3.1 k 近邻算法k 近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到
2020-09-01 10:24:11
321
原创 自然语言处理学习路线图
一、读《数学之美》作者吴军，看这本书入门nlp，了解经典的算法，对自然语言处理形成初步的认识，培养兴趣。二、学“吴恩达机器学习”在网易云课堂-微专业-深度学习工程师，可以尝试找到课后练习跟着一起做，github上有人发布作业。课程较为简单，务必做练习，能对算法有更基础的理解，接触到实际的代码。三、练《统计学习方法》作者李航，更深入学习机器学习的算法。数学内容多，公式推导详细，都是干货。练习github上分享的各章代码和课后练习。四、读《Speech and Language Processing
2020-08-26 17:12:06
738
原创 《统计学习方法(第二版)》第2章 感知机
抄书无用！目录2.1 感知机模型2.2 感知机学习策略2.2.1 数据集的线性可分性2.2.2感知机（perceptron）是二分类的线性分类模型，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机1957年由 Rosenblatt 提出，是神经网络与支持向量机的基础。2.1 感知机模型感知机的几何解释：w⋅x+b=0w \cdot x +b =0w⋅x+b=0 是对应于特征空间 RnR^nRn 中的一个超平面 S，其中 w 是超平面额法向量，b 是
2020-08-25 11:31:03
198
原创 《统计学习方法(第二版)》第1章 统计学习及监督学习概论
目录1.1 统计学习统计学习的特点统计学习的对象统计学习的目的统计学习的方法统计学习的研究统计学习的重要性1.2 统计学习的分类1.2.1 基本分类监督学习无监督学习强化学习半监督学习与主动学习监督学习是从标注数据中学习模型的机器学习问题。1.1 统计学习统计学习（Statistical learning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习。统计学习的特点学习的定义：如果一个系统学习的定义如果一个系统能够通过执行某个过程改进它的
2020-08-24 14:18:44
294
原创 机器学习数学基础2：概率论与数理统计
极大似然估计如果我们想用一个函数来拟合样本，我们可以构造一个关于样本X的函数L(X,θ)L(X, \theta)L(X,θ)，其中X是观察值，θ\thetaθ是这个函数的参数，但是θ\thetaθ是未知的，所以我们就需要通过观察到的X估计θ\thetaθ，那么那个能把函数和观察值拟得最好的θ\thetaθ，就叫做这个函数L(X,θ)L(X, \theta)L(X,θ)的“极大似然估计”。...
2020-08-22 15:07:41
459
原创 机器学习数学基础3：线性代数
基于图解机器学习的数学直觉目录向量矩阵行列式特征向量和特征值机器学习本质上是使用合适的模型，利用数据来拟合模型获得最好的参数，在这个过程中的各种计算都需要用到线性代数，所以必须要知道线性代数的基本概念和计算方法。线性代数就是使用矩阵或者向量等做次方为一次的各类加减乘除计算。向量在二维坐标系里看是一个有向的线段，在代数上看是一列数字，向量有分配律、结合律等。向量的点积dot product, 就是把两个向量相应位置的元素相乘，然后再求和得到一个标量。向量的长度可以用毕达哥拉斯定理求得。余弦定理
2020-08-22 15:05:02
701
原创 机器学习数学基础1：微积分
基于[公开课] 微积分拾级(一) (單維彰)目录泰勒展开式微分微分的运算性质导数的应用三次多项式函数的图形反曲点莱布尼兹符号积分直方图 histogram泰勒展开式先了解什么是泰勒展开式。函数有两种，一种多项式函数，比如f(x)=x2+x+1f(x)=x^2+x +1f(x)=x2+x+1，一种非多项式函数，比如f(x)=ex,f(x)=ln(1+x),f(x)=sin(x)f(x)=e^x, f(x)=ln(1+x), f(x)=sin(x)f(x)=ex,f(x)=ln(1+x),f(x)=sin
2020-07-21 23:00:13
588
翻译 第十五章：依存句法分析_Dan Jurafsky《自然语言处理综述》(第三版)读书笔记
目录15.0 前言15.0 前言前三章的重点是上下文无关语法和它们在自动生成基于成分的表示。这里我们介绍另外一个形式主义语法，叫做依存语法，在当代语言处理中十分重要。在这类形式主义中，短语成分以及短语结构规则起不到直接的作用。取而代之的是，一个句子的句法结构，通过句子中的词语（或者词根）以及词语间相联系的一套有向二元语法关系描述。下面的示意图，描述的就是依存方式的分析，使用的是标准的图形方法...
2020-03-06 15:31:25
3179
翻译 Deep learning with pytorch 读书笔记 第一章 介绍DL和Pytorch
本章内容：这本书将教会你什么PyTorch 在构建深度学习项目中的角色PyTorch的优势和劣势硬件的要求现在机器可以处理越来越多的问题，并且解决这些问题只通过学习大量的例子，而不用人工编码。我们把这样的算法称为深度学习，使用深度神经网络通过大量的例子来训练。我们能够创建直到最近还属于人类特有能力的功能。1.1 PyTorch 是什么？Pytorch 是Python的一个Libra...
2020-02-03 00:21:04
405
翻译 第十章：编码-解码模型，注意力，上下文嵌入_Dan Jurafsky《自然语言处理综述》(第三版)读书笔记
目录10.0前言10.1 再论神经语言模型和生成10.0前言It is all well and good to copy what one sees, but it is much better to draw only what remains in one’s memory. This is a transformation in which imagination and memory...
2020-02-02 02:42:33
1380
翻译 第九章：序列处理与循环网络_Dan Jurafsky《自然语言处理综述》(第三版)读书笔记
目录9.0 前言9.1 简单的循环神经网络9.0 前言语言是一种时间现象。当我们理解和产出口语时，我们是在处理一个不定长度的连续输入流。即使是处理书面文本，我们通常也是按顺序来处理，虽然我们原则上是可以同时对所有元素进行任意访问的。我们常用的一些隐喻反映了语言的时间本质：我们常说语流、新闻流、推特流，这些都表明语言是随着时间展开的序列。这些时间性质，也体现在语言处理所用的算法当中。当应用于词类...
2019-11-03 22:51:11
696
翻译 第七章：神经网络与神经语言模型_Dan Jurafsky《自然语言处理综述》(第三版)读书笔记
目录7.0前言7.0前言神经网络时语言处理中核心的计算工具，并且很早就出现了。神经这个名字最早来源于McCulloch-Pitts neuron(1943)，是一个人类神经元的简化模型，可以理解为命题逻辑中的计算单元（？）。不过现在在语言处理中，不再具有生物学意义。现在的神经网络是一个小型的由众多计算单元组成的网络，输入一个向量，输出一个值。这章介绍用于分类的神经网络，前馈神经网络，因为计算过...
2019-09-10 00:22:45
523
原创 虚拟机安装linux和winxp
安装Oracle VM VirtualBox官网下载最新版本： https://www.virtualbox.org/正常安装好。安装linux找到ubuntu的官网，下载desktop 16.04：https://ubuntu.com/download/desktop打开Vbox，新建，输入名称，分配好内存大小、硬盘大小；然后设置-存储-空光盘加载下载好的系统镜像。设置-系统-只勾...
2019-08-19 17:00:57
261
翻译 第六章：向量语义_Dan Jurafsky《自然语言处理综述》(第三版)读书笔记
目录6.0前言6.1词汇语义6.0前言在不同的地区，如果生存环境类似，不同的物种能进化出类似的特征。在同样语境里的不同词语也有类似意义，这被称为分布假设。两个词意义的差异程度与其所在的环境之间的差异程度相当。向量语义，正是这个假设的实例化。根据词语在文本中的分布，能够学习到词语的语义表示。所有涉及语义的NLP应用中语义表示都要用到。通过无监督方式学习语义表示，而不是通过特征工程人为设计，是当今...
2019-07-18 16:02:01
1796
翻译 第五章：逻辑回归_Dan Jurafsky《自然语言处理综述》(第三版)读书笔记
5逻辑回归目录5.0 前言5.1 分类：sigmoid新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入5.0 ...
2019-07-02 01:04:27
694
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人