![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
重要的数学知识
重要的数学知识
~青萍之末~
弱者总有弱者的理由
展开
-
余弦相似度
相似度度量(Similarity),即计算个体间的相似程度,相似度度量的值越小,说明个体间相似度越小,相似度的值越大说明个体差异越大。 对于多个不同的文本或者短文本对话消息要来计算他们之间的相似度如何,一个好的做法就是将这些文本中词语,映射到向量空间,形成文本中文字和向量数据的映射关系,通过计算几个或者多个不同的向量的差异的大小,来计算文本的相似度。下面介绍一个详细成熟的向量空间余弦相似度...转载 2018-10-07 13:47:54 · 10385 阅读 · 5 评论 -
离散小波变换(DWT)
离散小波变换(Discrete Wavelet Transformation)一、定义(摘自百度百科):首先我们定义一些需要用到的信号及滤波器。x[n]:离散的输入信号,长度为N。g[n]:low pass filter低通滤波器,可以将输入信号的高频部份滤掉而输出低频部份。h[n]:h...转载 2018-08-03 14:55:19 · 43184 阅读 · 0 评论 -
有关小波的几个术语及常见的小波基介绍
题目:有关小波的几个术语及常见的小波基介绍 本篇是这段时间学习小波变换的一个收尾,了解一下常见的小波函数,混个脸熟,知道一下常见的几个术语,有个印象即可,这里就当是先作一个备忘录,以后若有需要再深入研究。一、小波基选择标准&nbs...转载 2018-08-03 14:53:40 · 29219 阅读 · 1 评论 -
数据归一化
多时候,如果不对数据进行归一化,会导致梯度下降复杂或是xgboost中的损失函数只能选择线性,导致模型效果不佳。下面我结合各类我看到的资料总结一下几种方式的归一化,并有python的实现。从经验上说,归一化是让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。如下有个形象的图...转载 2018-06-28 21:21:14 · 1324 阅读 · 0 评论 -
过拟合的原因和解决方案
一、过拟合的原因 1. 训练集的数量级和模型的复杂度不匹配。训练集的数量级要小于模型的复杂度; 2. 训练集和测试集特征分布不一致; 3. 样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系; 4. 权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。二、过拟合的解决方案 1. 调小模型...转载 2018-06-28 21:19:34 · 8280 阅读 · 2 评论 -
机器学习中正则化项L1和L2的直观理解
正则化(Regularization)机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1” role=”presentation” style=”position: relative;”>ℓ1ℓ1-norm,中文称作L1正则化和L2正则化,或者L1...转载 2018-06-24 11:05:59 · 563 阅读 · 0 评论 -
极大似然估计详解
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下:贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:...转载 2018-06-24 11:01:06 · 1849 阅读 · 0 评论 -
优化算法之梯度下降法、牛顿法、拟牛顿法和拉格朗日乘数法
在机器学习中,优化方法是其中一个非常重要的话题,最常见的情形就是利用目标函数的导数通过多次迭代来求解最优化问题。 - 无约束最优化问题:梯度下降法、牛顿法、拟牛顿法; - 有约束最优化问题:拉格朗日乘数法。一、梯度下降法1、算法简介 梯度下降法是最早最简单,也是最为常用的最优化方法。梯度下降法实现简单,当目标函数是凸函数时,梯度下降法的解是全局解。一般情况下,其解不保证是...原创 2018-06-24 10:58:44 · 6185 阅读 · 0 评论 -
傅里叶变换和小波变换分析
一、前言 我们经常接触到的信号,正弦信号,余弦信号,甚至是复杂的心电图、脑电图、地震波信号都是时域上的信号,我们也成为原始信号,但是通常情况下,我们在原始信号中得到的信息是有限的,所以为了获得更多的信息,我们就需要对原始信号进行数学变换,得到变换域的信号,通常接触到的变换主要有傅里叶变换、拉普拉斯变换、Z变换、小波变换等等,今天主要讨论下...转载 2018-06-23 10:32:04 · 31770 阅读 · 8 评论 -
矩阵求导、几种重要的矩阵及常用的矩阵求导公式
一、矩阵求导 一般来讲,我们约定x=(x1,x2,...xN)Tx=(x1,x2,...xN)Tx=(x_1,x_2,...x_N)^T,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。1、向量对向量求导2、标量对向量求导 3、向量对标量求导 其他的可以参考wiki:维基百科矩阵求导公式二、几种重要的矩阵1、梯度(Gr...原创 2018-06-08 11:16:02 · 331606 阅读 · 15 评论