![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 89
Flyingzhan
哈尔滨工业大学18级计算机硕士研究生
展开
-
SVM实现(最优化方法)
SVM实现SVM(支持向量机)是一个常用的分类器,我在SVM中介绍了该方法的大概的公式以及出发点。很多机器学习课程也讲了SVM的公式,那么具体怎么实现一个SVM呢?这里介绍一下这个git repo里面的SVM实现:SVM代码。首先我想将SVM的公式放到下面:传统SVM公式:改进后的SVM(不严格要求所有点必须满足大于margin,对于离群点不那么敏感):SVM实现的代码如...原创 2020-03-25 23:36:07 · 3948 阅读 · 0 评论 -
word2vec在推荐系统的应用
word2vec在推荐系统的应用word2vec是自然语言处理里面的一种模型,主要根据单词的"context"上下文来学习词向量。word2vec被用在了很多场景中,比如说node2vec,deepWalk等图特征学习算法中,除此之外,也被用在了很多推荐系统场景中。下文转载自http://mccormickml.com/2018/06/15/applying-word2vec-to-recom...转载 2019-12-03 18:22:50 · 1509 阅读 · 0 评论 -
降维方法
降维方法1:Multidimensional Scaling(MDS)MDS是一种降维或者可视化算法,通过使得降维之后的数据能够保留原始数据之间的相似度(或者不相似度,距离)等等,来将数据映射到低维空间。假设原始数据的距离矩阵D已知,比如说下面的形式:我们使用stress来衡量映射的好坏:上面的这些符号来自于https://www.ncss.com/wp-content...原创 2019-11-27 11:14:38 · 1445 阅读 · 0 评论 -
基于树结构的机器学习模型
基于树结构的机器学习模型在深度学习被广泛应用之前,基于树形结构的机器学习模型,比如说决策树,随机森林,GBDT,Xgboost等等被广泛的应用到分类等常见场景中,下面总结一下常见一个一些树形结构的机器学习模型。1:决策树常见的决策树算法有ID3,C4.5,CART(classification and regression tree)等等。由于存在很多好的文章已经详细的介绍了这些算法,...原创 2019-11-10 18:09:24 · 1903 阅读 · 1 评论 -
SVM(支持向量机)总结
SVM知识点总结1:几何间隔和函数间隔假设叉号对应的点标签y=1,圈对应的点的标签y=0,我们可以得到一个分类界面能够将两类数据分开。当处理未知数据A,B,C的时候,很显然,判断A为y=1这一类的置信度(confident)应该比判断C为y=1这一类的置信度高,而B的置信度介于两者之间。因此,我们可以知道,如果某个点距离分类界面越远的话,预测结果的置信度越高。函数间隔(functi...原创 2019-07-28 18:41:17 · 591 阅读 · 0 评论 -
机器学习算法
机器学习算法1:线性回归的解释线性回归是最简单的机器学习算法之一,但是非常常用。我们都知道给定(x,y)作为训练数据,使用如下的目标函数进行优化:然后使用优化方法,比如说梯度下降算法(或者牛顿法等)对上面的目标进行优化:但是为什么直接使用平方差作为损失函数能够进行先行回归?下面的解释来自与Andrew Ng的机器学习课程:假设回归结果与真实值之间的误差满足正太分...原创 2019-07-30 22:43:42 · 777 阅读 · 0 评论 -
遗传算法总结
遗传算法总结遗传算法是一种最优化算法,或者说遗传算法可以应用于求解搜索问题或者最优化问题。百度对遗传算法的定义为:遗传算法(Genetic Algorithm)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法遗传算法在工业界有着比较广泛的应用。我也是实习的时候才真正用到遗传算法,下面是我的一些总结。1:传统优化算法遗传算法...原创 2019-07-07 14:01:06 · 2164 阅读 · 0 评论 -
机器学习的数学基础
机器学习的数学基础这里我主要总结一下我正在看的Bishop的"Pattern Recognition and Machine Learning"里面的内容。1:概率论基础边缘概率:只观察某个变量的概率。如存在X,Y两个变量,P(X)和P(Y)都是边缘概率(marginal probability)联合概率:同时观测两个变量的值,此时的概率。如P(X=i,Y=j)就是联合概率(joi...原创 2019-01-21 11:33:39 · 311 阅读 · 0 评论 -
跨模态检索评价指标(evaluations of cross-modal retrieval)
跨模态检索评价指标(evaluations of cross-modal retrieval)1:背景跨模态检索在实际生活中有着广泛的应用,比如说输入一段话,希望找到对应的图片,再比如说根据一段语音得到与描述大致相同的图像,这些都是跨模态(modality, 如文本,图像,语音等等)检索的例子,本文主要介绍跨模态检索的评价指标,对基本的跨模态检索概念不清楚的话,请首先查阅资料。最近面试...原创 2018-12-04 16:54:57 · 6393 阅读 · 29 评论 -
目标函数常见解法
如何求解目标函数简介相信大家在写程序的时候,尤其是一些机器学习算法的时候,都会遇到将自己的目标函数使用矩阵形式表达的情况。大多数时候,我们写目标函数都是以的形式递归的计算,但是写程序的时候一般输入都是所有的数据,如numpy储存的数组,因此需要转化为矩阵形式。这里简单介绍一下常用的方法以及函数(tensorflow),希望有所收获。此外,本文还包括一些常见的矩阵形式的目标函数的解法。...原创 2018-12-12 20:27:06 · 9567 阅读 · 2 评论 -
tSNE
t-SNE简介 t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在08年提出来。此外,t-SNE 是一种非线性降维算法,非常适用于高维数据降维到2维或者3维,进行可视化。 t-SNE是由S...转载 2018-03-11 23:18:21 · 17099 阅读 · 3 评论 -
目标函数总结
目标函数总结这里总结一下各种论文或者算法所使用的目标函数,希望能够有所启发,当处理相应问题的时候能够设计出好用的目标函数。1:哈希编码上述文字摘抄自"A General Two-Step Approach to Learning-Based Hashing",目的是为了使得哈西编码尽可能保留原始数据之间的相似度,因为哈西编码必要应用于NN(nearest neighbor sear...原创 2018-09-09 21:21:41 · 1729 阅读 · 0 评论 -
多元高斯分布
多元高斯分布1.协方差矩阵协方差衡量的是变量X与Y之间是否存在线性关系,cov(X,Y)>0说明X与Y的变化趋势是一致的,X增长的时候Y也随着增长。如果X,Y互相独立的话,cov(X,Y)=0.cov(X,X)=D(X),变量X与自身的协方差就是方差,cov(X,Y)=cov(Y,X),cov(X,Y)=E[(X-E(X))(Y-E(Y))].注意,上述变量X,Y都是一维变量...原创 2018-09-07 22:11:48 · 12335 阅读 · 0 评论