![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 60
计算机领域的一枚戏精
这个作者很懒,什么都没留下…
展开
-
Skip-gram模型与Hierarchical Softmax, Negative Sampling的优化方法
以前已经看过很多次Skip-gram模型,负取样方法,但是真正用的时候,对其中的原理仍然是一知半解,最近又阅读了一下‘Distributed Representations of Words and Phrases and their Compositionality’这篇文章,想把自己看懂的地方记录下来。可能部分内容有网络的引用,因为完全是比较粗糙的自己记笔记,就不一一列出了。Skip-...原创 2018-03-15 20:21:23 · 1860 阅读 · 0 评论 -
线性分类器与非线性分类器
线性分类器和非线性分类器是我们经常说的词汇,然而我却并不知道他的真正含义,上网搜索了一下,材料也是很少。整理如下:对于二类的情形:线性分类:是用一个超平面能将正负样本区分开,表达式为y=wx,这里说烦人地超平面,对于二维的情况,可以理解为一条直线,如一次函数。他的分类算法是基于一个线性的预测函数,决策的边界是平的,比如直线和平面。非线性分类:他的分类界面没有限制,可以是一个曲面,或者是多个超平面的...原创 2018-03-28 09:21:49 · 1722 阅读 · 0 评论 -
凸函数与凸优化的问题
此文大致从文章file:///C:/Users/Administrator/Downloads/cs229-cvxopt.pdf 翻译得到。1 介绍在机器学习的很多领域,我们是想优化一些函数的值,也就是给定一个函数f,我们想找到x,去最大或者最小函数f(x)的值。然而,找到一个函数的全局最优可能是一个困难的问题。凸优化能够在很多情况下找到全局的解答。2 凸集定义:一个集合C,如果对于任何x,y属于...原创 2018-03-28 15:23:45 · 2821 阅读 · 2 评论 -
L1,L2正则化的原理与区别
L1,L2正则化的原理与区别正则化的目的L0与L1范数L2范数L1,L2正则化区别正则化参数的选择参考是为了求招做的笔记,笔记中的内容很大一部分来自于我所看的一大部分博客,这篇我主要看的是链接: link. 文中标号的部分是我目前还没完全理解的部分。正则化的目的在我们做监督学习训练时,主要应用的思想是“最小化损失函数的同时规则化参数”, 最小化损失函数的目的是降低训练误差,拟合训练数据,参数...原创 2019-04-27 19:36:34 · 5567 阅读 · 0 评论 -
逻辑回归处理非线性特征,特征离散化以及高维稀疏特征
处理非线性特征我们都知道逻辑回归是个线性分类器,它的分类器形式为:f(x)=θ1x1+θ2x2+....+θnxnf(x)=\theta_1x_1+\theta_2x_2+....+\theta_nx_nf(x)=θ1x1+θ2x2+....+θnxn所说的线性是关于参数θ\thetaθ的线性,虽然它会经过一个sigmoid函数的映射,加入映射之后,会演变成:$hθ(x)=1/...原创 2019-04-30 10:33:56 · 4733 阅读 · 0 评论