![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学推导
文章平均质量分 63
Johnny_Cuii
May all kind hearts be gently treated
展开
-
机器学习-高斯模型
高斯模型的公式推导过程 通过学习线性模型之后,我们会有这样的疑问,如果现实中实例,他的分布不是线性模型的话怎么办?事实上,现实中很多实例他并不是服从线性关系。 比如智商分布图 对于这样的问题,很显然我们依然用线性模型的话是不合适的。 由此,我们引入高斯模型。高斯模型即是我们所熟悉的正太分布。在使用这一模型的前提条件是,我们假设 在不同的测试数据中,误差变量是 独立同分布的,我们通常情况下原创 2017-05-02 15:11:01 · 8925 阅读 · 1 评论 -
Adaboost
这个是周志华老师的机器学习书里面的公式,表明如果基础分类器是弱分类器的 情况下,集成之后效果的效果会更好,因为我们从公式中可以看到,基分类器的数目T增长的时候,错误率是指数级下降的。 这个公式是怎么来的呢? 这个是周志华老师机器学习里的课后习题,现在咱们就来证明一下 到此我们对集成的直观理解是,如果我们有很多基分类器,他们之间独立,让他们各自预测之后,通过投票产生结果,如果数量足够多,那我们正确原创 2017-11-03 18:50:38 · 379 阅读 · 0 评论 -
多维高斯分布模型
多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分知识,之前上自然语言课的时候,就因为多维高斯模型不懂,全程懵逼。本来想把这部分内容同生成学习法放在一起,但是想到这玩意把我虐那么痛苦,就单独一篇博客来写。首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念随机向量函数分布原创 2017-05-07 00:34:48 · 42019 阅读 · 11 评论 -
机器学习:混合高斯模型和EM算法
这篇博客里,我们来介绍混合高斯模型和EM算法,也标志着进入到无监督学习新的篇章。EM算法会在混合模型里有应用。(其实之前还有一个k-means算法,但是这个算法比较简单,就不在博客里介绍了) 我们首先来介绍 EM算法的推导,然后介绍在混合高斯模型中的应用。 EM算法 EM算法大概的思路就是,对于没有标注的数据,我们会假设一个数据,然后通过不断地迭代,让我们假设的数据不断地趋近于正确的值。是不原创 2017-06-02 01:48:17 · 1239 阅读 · 1 评论 -
机器学习:Factor analysis因子分析
这部分内容还是挺奇怪的,学生的时候感觉不难啊,但是把复盘的时候,总是各种难以明说的困惑,不知道是不是因为戒烟,注意力不够专注,总之,学的不是很容易。说归来因子分析,解决的是维度高,样本不足的情况下,模型建立的问题。我们之前讲的混合高斯模型里都是维度数远小于样本数的情况,如果维度是远大于样本数的话,我们仍然用以前的方法建立混合高斯模型会遇到问题,因为在这种情况,协方差会等于0,也就是说我们无法表原创 2017-06-07 01:58:15 · 9382 阅读 · 2 评论 -
机器学习 逻辑回归
机器学习 逻辑回归 这里所写的是逻辑0,1分类的问题,即二分法。 与线性回归的 least square不同的是,逻辑回归对概率进行假设。 由于概率是在0,1之间 借助于公式 这个函数的名称为logistic function 因为这个函数的上限和下限就是在0,1之间,函数曲线如图 其实我们观察这个图的话,发现很像正太分布函数的F(x)函数图。 一个需要考虑的问题是:我们什么原创 2017-05-02 13:50:39 · 555 阅读 · 1 评论 -
李宏毅老师Structured Learning课堂笔记 以及在 自然语言句法分析上的应用
每次写博客,都是我最开心的时候,因为每次决定写博客都是我觉得学到了非常重要的知识点。这篇博客,我会来谈论一下Structured Learning 以及在句法分析上的应用,Structured Learning 应用很广泛,只要掌握了这一思想,我们自然就会去应用它,我们的毕业论文方向是信息检索,我也会用你Structured Learning 方法来看一下效果会怎样。 在这篇博客中,我们会深入探...原创 2018-02-08 17:28:22 · 416 阅读 · 0 评论 -
Pytorch Bi-LSTM + CRF 代码详解
久闻LSTM + CRF的效果强大,最近在看Pytorch官网文档的时候,看到了这段代码,前前后后查了很多资料,终于把代码弄懂了。我希望在后来人看这段代码的时候,直接就看我的博客就能完全弄懂这段代码。 看这个博客之前,我首先建议看看 Pytorch 关于Bi-LSTM + CRF的解释 看完再看看这位的博客 Bi-LSTM-CRF for Sequence Labeling PENG 这...原创 2018-02-28 21:25:03 · 47199 阅读 · 33 评论 -
2018 ATEC NLP比赛 15th 总结
这次比赛跟以往的比赛似乎很不一样(虽然这个是我第一次参加),以往比赛的特征技巧,融合技巧,以及一些典型的模型都在这次比赛都失效。我一度怀疑蚂蚁金服是故意设计了数据。。。。赛题介绍问题相似度计算,即给定客服里用户描述的两句话,用算法来判断是否表示了相同的语义。示例:“花呗如何还款” –“花呗怎么还款”:同义问句 “花呗如何还款” – “我怎么还我的花被呢”:同义问句 “花呗分期后...原创 2018-09-02 21:11:35 · 4458 阅读 · 12 评论 -
从Variational Inference到 VAE的详细概述
待续原创 2018-10-25 16:36:12 · 1891 阅读 · 0 评论 -
深度学习:反向传播与基本原理
我们要证明得是这四个公式 有了这个四个公式,我们得反响传播就可以递推得到。 BP1公式: 这个是输出层误差方程,这个方程好像没啥好说的BP2公式 从这个公式我们可以通过高阶层的误差,通过的递推的方式求出每一层的误差BP3公式 BP4公式 从BP4公式我们可以看到,如果前一层的输出函数过于小的话 w参数学习就会变慢。原创 2017-11-04 20:56:56 · 1609 阅读 · 0 评论 -
机器学习线性回归中,用矩阵求导方法求最小二乘法的方法
在我们推导最小二乘法的时候,Andrew提供了两种方法,一个是梯度下降法则,另一个是矩阵求导法则。后来在《机器学习实战里》面看线性回归代码的时候,里面就是用了矩阵求导法则。要看懂矩阵求导法则,是需要一些矩阵论的知识的,还记得今年夏天我在苦逼地到处求矩阵论地速成资料,还真让我找到了,名字叫《matrix+vector+derivatives+for+machine+learning》,这本书我已经上传原创 2017-10-12 09:53:43 · 2743 阅读 · 1 评论 -
python绘图实践-泰坦尼克号绘图
最数据分析,通过直观的图来观察,无论是出自于分析还是呈现给别人看,都是很有必要的,所以就决定要学一学基本的绘图 以下是kaggle里著名的泰坦尼克号的数据分析,绘图的过程 import pandas as pd #数据分析 import numpy as np #科学计算 from pandas import Series,DataFrame data_train = p原创 2017-09-22 16:40:21 · 1559 阅读 · 0 评论 -
机器学习 —误差理论
学习误差理论,会让我一肚子疑惑,学完了之后不知道怎么用。按照目前的理解是,这就是理论,知道有这样的性质,就像我们学高数的时候,一个个公式,我们知道有这么回事就OK了。这部分内容对以后算法调试会奠定理论基础,多读书总是好的!开始正式内容 最主要的两个概念偏差和方差 方差都知道,现在来说说什么是偏差 这个图是我们针对样本进行的拟合的效果,其中图1,我们是用线性拟合,图中我们能看到拟合效果很弱,这个原创 2017-05-23 03:10:06 · 3283 阅读 · 0 评论 -
机器学习-特征选择
在此前做过文本分类的算法,其中特征长度是1万7多个,样本是1000个,但是做过文本分类的童鞋都知道,如此长的特征使得文本分类非常慢,一般都是去进行特征选择,而我因为当时不懂,所以也就没有做优化。 接下来,正式介绍一下特征选择。 首先,我们先来谈谈理论基础。从上一篇关于VC维的介绍中,我们知道,VC维他是和样本数量m是成正比的,而我们特征个数如果非常大,那我们的VC维就很可能很大,我们有理由相信,原创 2017-05-23 22:39:51 · 1621 阅读 · 0 评论 -
机器学习-广义线性模型GLM
广义线性模型的公式: 在学习广义线性模型的时候,会有这样的疑问,为什么我们要把逻辑回归,高斯分布模型都转化成广义线性模型,再来计算似然值呢? 我目前的理解是:不是说要转化成广义线性模型,而是他们是特殊的广义线性模型 比如,在逻辑回归中,我们对logistic function的定义,觉得莫名其妙,但是在广义线性模型中,我们能够看到如下 可以得出 以上是我们对广义模型的介绍。 在这原创 2017-05-03 01:24:28 · 1821 阅读 · 0 评论 -
SVM算法原理(1)
这个是机器学习中接触支持来向量的时候,首先接触的是知识。 主要思想是,我们对于样本二分类,我们希望找到这样一个平面(超平面):样本的 geometric margin 最大的,其实就是在样本中离超平面的最近的点,然后使得这个最近的点的 geometric margin 最大。首先我们需要明白一些概念。function margin and geometric margin ,what is原创 2017-05-13 17:02:53 · 407 阅读 · 0 评论 -
SVM算法原理(2)
接着上面的博客,开始之前,我们需要有这样的预备知识。 拉格朗日对偶(Lagrange duality) 先来看看这样一个问题 这样一个在约束条件下求极限的问题,我们在高数上是学过的,但是高数里我们接触的比较多的是不带等号的,比如: 这种情况下怎么求大家都会,现在来研究下不带等号的情况下怎么求最大值,其实用大学的知识也可以做,但是肯定比较麻烦。而今天要解决的就是用比较简单的方法,我们伟原创 2017-05-15 00:06:15 · 423 阅读 · 0 评论 -
高斯判别分析模型The Gaussian Discriminant Analysis model
高斯判别模型,内容其实非常简单 对于大多数模型,无非就是做这么几件事情 1.假设模型 2.设定参数,表示概率 3.用最大似然,通过样本算出参数 4.用得到的参数,再去测试数据里计算概率高斯模型判别是是这样,因为是判别吗,所以我们就把判别结果用0,1两种结果来表示,这样自然就想到要用伯努利。 高斯模型第二个假设是,我们认为对应两种判别结果分布于两种标准正态高斯模型。 举个例子: 比原创 2017-05-07 01:15:29 · 2830 阅读 · 1 评论 -
朴素贝叶斯文本分类应用
在这里介绍两种分类应用。分别Multivariate Bernouli Even Model多元伯努利事件模型 和 Mutinomial Event Model多项式事件模型 由简单到复杂原则,先搞 多元伯努利!多元伯努利的思想是,按照训练数据,我们建立一个vocabulary,这个vocabulary 相当于一个向量,我们遍历一个邮件的文字的时候,出现的word,都会在相应的vocabulary原创 2017-05-07 17:48:48 · 1062 阅读 · 0 评论 -
机器学习 核函数
提到SVM,就不可避免提到核函数。这篇博客中,介绍一下核函数的基本概念。 核函数实现算法非常简单 到这里,我们还需要回顾一下,前面的知识,还记得我们在前面optimal margin classier博客中,最终要优化的式子 这里面是不是就有xi,xj的内机啊,那我们核函数是干啥的呢? 就是把这些内机式子 变成很函数,而函数的值代表的意义是高维数组之间的内积。我们在这里讨论一下原创 2017-05-20 00:08:29 · 379 阅读 · 0 评论 -
机器学习 - 非线性划分-软间隔
到目前为止,我们已经基本把SVM都学习了一遍,但是有一个问题就是,我们在SVM中是假设数据可以线性划分,但是如果不能线性划分呢? 那你可能说,我们把他映射到更高维的空间,这种方法确实可行,但是不可避免会带来的问题是,过于依赖数据,以至于收到极端值的影响大,为了解决这个问题,我们就引进来的软间隔的概念 如图,因为极端值的影响,会使得我们的超平面发生变化。我们使用软间隔的意义就是 使得不满足约束条原创 2017-05-20 00:33:46 · 616 阅读 · 0 评论 -
SVM算法原理(3)
接着上一篇的内容,我们最终是定格在 在这个式子里我们需要找到让式子达到最大的值,我们现在就来探讨一下,是如何做到去最大值呢? 首先为了更好地衔接,回顾一下前面的知识,我们是如何走到这个式子的! 我们用了拉格朗对偶问题,把对min f(w)问题转化成 max w(a)的问题. 而式子中没有w是运用KKT条件中,对w求导等于0得到关于a的表达式,然后然代入原来的式子。之所以符合KKT条件,这个原创 2017-05-19 22:14:49 · 409 阅读 · 0 评论 -
Reasoning about Quantities in Natural Language
文章结构:这篇博客按照论文的顺序讲解,只写了我在读paper过程的疑惑,其他部分都略过,如果有疑问请留言,我会相应补充对应的部分Abstract:这篇文章发表于2015年的ACL,主要研究文本中数字的解析问题。 我自己的研究生论文毕设方向是关于数字的解析,我读到QSRL: A Semantic Role-Labeling Schema for Quantitative Facts这篇论文的时...原创 2019-05-28 22:15:17 · 317 阅读 · 0 评论