![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习--数学基础
老卫带你学
专注AI,云计算
展开
-
老卫带你学---目标函数与损失函数的区别
损失函数度量的是预测值与真实值之间的差异。损失函数通常写作L(y,y)L(y,y),yy代表预测值,yy代表真实值。例如square loss定义为L(y,y)=(y−y)2L(y,y)=(y−y)2,square loss定义为L(y,y)=max{0,1−yy}L(y,y)=max{0,1−yy}。目标函数就是一个更加宽泛的概念。目标函数是优化问题中的一个概念。任何一个优化问题包括两个部分:...原创 2019-12-23 16:46:22 · 395 阅读 · 0 评论 -
老卫带你学---RMSProp与Adam
RMSProp算法RMSProp算法全称root mean square prop算法。 从前面的例子可以知道,当我们利用梯度下降法的时候,虽然横轴也在前进,但纵轴摆动太大。假设纵轴是b横轴是w,假如我们想减弱b的幅度,加快或者不减少w的前进,RMSProp算法就可以起到这个作用。 其执行过程是这样的: 那么该算法是怎么起作用的呢?对于b方向,我们想减少b的摆动。所以对于sdwsd...原创 2019-12-21 22:57:15 · 3130 阅读 · 0 评论 -
老卫带你学---SVM结构风险最小化
对于SVM的结构风险最小化的理解支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上。置信风险: 分类器对 未知样本进行分类,得到的误差。经验风险: 训练好的分类器,对训练样本重新分类得到的误差。即样本误差结构风险:置信风险 + 经验风险结构风险最小化就是为了防止过拟合而提出来的策略,贝叶斯估计中最大后验概率估计就是结构风险最小化的一个例子。当模型的条件概率分布、损失...原创 2019-12-16 17:18:05 · 2061 阅读 · 0 评论 -
老卫带你学---sklearn的CountVectorizer()类解析
它主要是把新的文本转化为特征矩阵,只不过,这些特征是已经确定过的。而这个特征序列是前面的fit_transfome()输入的语料库确定的特征。见例子:>>>from sklearn.feature_extraction.text import CountVectorizer>>>vec=CountVectrizer()>>>vec.tra...原创 2019-09-04 15:31:19 · 735 阅读 · 0 评论 -
老卫带你学---Feature hashing(特征哈希)
Feature hashing(特征哈希)在机器学习中,特征哈希也称为哈希技巧(类比于核技巧),是一种快速且空间利用率高的特征向量化方法,即将任意特征转换为向量或矩阵中的索引。它通过对特征应用散列函数并直接使用特征的散列值作为索引来工作,而不是在关联数组中查找索引。例子在典型的文档分类任务中,机器学习算法(包括学习和分类)的输入是自由文本。 因此,构造了BOW表示:每个单词被抽取并计数,并且...原创 2019-09-04 13:23:17 · 1198 阅读 · 0 评论 -
老卫带你学---推荐系统
机器学习的一种重要应用就是推荐系统。比如我们的淘宝推荐,豆瓣推荐,优酷电影推荐等等都用到了推荐系统。那我们来谈一谈推荐系统的细节。推荐系统评价指标1.准确度2.覆盖率3.多样性4.其他指标...原创 2019-04-23 22:55:23 · 1190 阅读 · 0 评论 -
老卫带你学---联合概率,边际概率,条件概率
一时忘了联合概率、边际概率、条件概率是怎么回事,回头看看。某离散分布:联合概率、边际概率、条件概率的关系:其中, Pr(X=x, Y=y)为“XY的联合概率”; Pr(X=x)为“X的边际概率”; Pr(X=x | Y=y)为“X...原创 2019-05-02 14:30:33 · 613 阅读 · 0 评论 -
老卫带你学---最大熵模型与EM算法
最大熵模型与EM算法最大熵模型与EM算法在机器学习里面尤为重要。接下来我们一步一步的介绍相关细节:先验概率与后验概率后验概率就是通过已有的数据来推断未知的数据,先验概率就是直接对未知的数据进行预测。所以,我们机器学习的目标就是求后验概率,即通过已有的训练样本来推断测试样本极大似然估计老卫语录:就是求得θ,使得似然函数取最大值,这种方法称为极大似然估计为了计算方便,我们一般将似然函数...原创 2019-04-18 14:03:50 · 430 阅读 · 0 评论 -
老卫带你学---SVM支持向量机
老卫带你学—SVM支持向量机学习目标:理解支持向量机的知识结构理解支持向量机的原理与目标理解算法推导的核心过程和意义(关键是损失函数与约束条件的意义)理解核函数的意义与方法知识结构hard margin SVM:可以容易的找到一条划分超平面来将两类分开;soft margin SVM:不容易找到划分超平面,但是可以寻找到一条相对最好的;Kelnel:将核函数应用于 SVM,增...原创 2019-04-21 22:55:53 · 210 阅读 · 0 评论 -
老卫带你学---详解softmax(转)
答案来自专栏:机器学习算法与自然语言处理详解softmax函数以及相关求导过程这几天学习了一下softmax激活函数,以及它的梯度求导过程,整理一下便于分享和交流。softmax函数softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的softmax值就是...转载 2018-08-10 13:14:51 · 243 阅读 · 0 评论