math
doubleslow;
Success is a series of little wins.
展开
-
最小二乘法least-squares
又称最小平方法,一种优化方法,由高斯,勒让德独立提出,但高斯先发现,勒让德先发表用途:给一组数据找一个最佳匹配的函数,使得拟合性最好;根据拟合函数求未知数据。思想:最小化误差的平方和,主要是在最小化超定方程组(方程数比未知数多)的残差(观测值与模型提供的拟合值之间的差距)平方和。...原创 2019-05-11 15:35:23 · 4231 阅读 · 0 评论 -
互信息
mutual information原创 2019-05-12 01:04:03 · 214 阅读 · 0 评论 -
线性模型(三)逻辑回归logistic regression
逻辑回归,也叫对数几率回归,它先回归出一个预测值,再用一个函数(sigmoid函数)把预测值转换为0 or 1类的概率从而实现分类。前面讲的最小二乘只能回归,只是求解了一个拟合模型,对于新数据可以预测出一个具体的实值,却止步于此,不能用于二分类。探究一下“逻辑回归”和“对数几率回归”两个名字,里面的用词也承载了一些信息量。“逻辑”即“真”“假”,也就是布尔类型,不是0就是1,这是因为逻辑回归的基...原创 2019-05-12 16:36:24 · 538 阅读 · 0 评论 -
线性模型(四)支持向量机(SVM)
(一) 间隔和支持向量SVM(Support Vector Machine)的思想和其他线性模型做2分类一样,都是找个超平面(hyperplan)然后一刀切。但SVM这么成功(在90年代直接造成了NN的第二冬),自然有其独到之处,那就是在超平面的概念上,多引入了“间隔”和"支持向量"的概念。可实现分类的超平面不唯一,我们怎么选择一个更好的超平面呢?直观上,应该是去找位于两类样本的“正中间”的那...原创 2019-05-12 23:17:04 · 830 阅读 · 0 评论 -
典型概率分布(pdf公式和图示)
图片扫描自教材《应用随机过程》,作者是李晓峰,唐斌,舒畅等。如有侵权,请联系我删除。平常学习研究中经常遇到各种概率分布,但分布形式太多容易遗忘,特此开辟一文,便于随时查阅。...原创 2019-06-06 10:36:11 · 5738 阅读 · 0 评论 -
数学建模(一)——DVD在线租赁(05年国赛B题)
在学习阶段的十几年甚至二十多年里,很多时候我们都是在顺向思维地接受知识,但是建模需要我们自己去创造,它要求我们对已学的知识的掌握有很高的灵活度;建模的问题可能很生活化,也可能和物理关联密切,总之它使我们遇到的问题丰富多样,能够提升我们对数学知识的运用能力,使我们真正把数学用起来,而不是一味记忆,认同地积累,积累···...原创 2019-06-15 15:20:20 · 12350 阅读 · 1 评论 -
图像的采样和量化(二维DFT公式详细推导)
最近复习图像和视频处理课,好多基础推导都不能得心应手,复习进度相当缓慢,过程异常痛苦。图像的二维傅里叶变换的公式始终没成功推出来,执着地僵持了很久,于是成此文。二维傅里叶变换的四对公式不清楚可以移步这篇博客的第4种case(因为脉冲阵列就是2维离散周期信号)。首先应当明确数字图像(M行*N列)是离散信号,并且是二维离散信号,可以认为是从一维离散时间信号(也就是 序列)的推广。对图像的傅里叶变换...原创 2019-06-10 14:01:18 · 5172 阅读 · 0 评论 -
最基础的傅里叶变换公式推导
(1)f(x)=1f(x)=1f(x)=1作一维傅里叶变换:(1)F(u)=∫−∞∞f(x)e−j2πuxdx=∫−∞∞e−j2πuxdx=δ(u)F(u)=\int_{-\infty}^{\infty}f(x)e^{-j2\pi ux}dx=\int_{-\infty}^{\infty}e^{-j2\pi ux}dx=\delta(u)\tag1F(u)=∫−∞∞f(x)e−j2πuxdx...原创 2019-06-11 21:04:09 · 16381 阅读 · 0 评论 -
KL最优变换手推
KL最优变换推导本文主要参考wiki。the Karhunen–Loève transform (KLT),也叫the Karhunen–Loève expansion or Karhunen–Loève decomposition。先进行无公式讲解(全是冗余)KL变换也叫霍特林变换(Hotelling transform) ,特征向量变换(eigenvector transform...原创 2019-05-07 20:33:00 · 2733 阅读 · 5 评论 -
KKT条件详解
KKT条件详解主要参考这篇文章和这个知乎回答。KKT最优化条件是Karush[1939],以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视,因此许多情况下只记载成库恩塔克条件(Kuhn-Tucker conditions)它是非线性规划领域的重要成果,是判断某点是极值点的必要条件。对于凸规划,KKT条件就是充要条件了...原创 2019-05-07 15:55:41 · 32445 阅读 · 12 评论 -
方向导数和梯度
本文参考于http://netedu.xauat.edu.cn/jpkc/netedu/jpkc/gdsx/homepage/5jxsd/51/513/5308/530807.htm方向导数 direction derivative刻画的是多元函数在某一点沿着某一方向的变化率,方向导数越大,沿这个方向的函数值变化越快。它的定义要用到函数的增量、极限,其实很简单,只是看起来长就显得有点复杂。这...原创 2019-05-06 21:09:44 · 544 阅读 · 0 评论 -
拉格朗日对偶函数&拉格朗日对偶问题
前段时间学了拉格朗日乘子法,学会了构造拉格朗日函数,也就是学会了把带约束(等式或不等式)的优化问题转化为无约束优化问题,私以为这部分就学完了到此为止了,没想到今天推导SVM的数学模型,要推原问题的对偶问题,愣是艰难地卡了大半天,一直没明白对偶问题的含义,原来拉格朗日函数得到以后还要进一步往下推出拉格朗日对偶函数,对偶函数的极值问题就是原问题的对偶问题,本文专门梳理和总结一下,以作学习记录。本...原创 2019-05-19 16:44:12 · 26825 阅读 · 7 评论 -
DCT 离散余弦变换及蝶形算法
离散余弦变换推导discrete cosine transform(1)一维DCT信号分析的课本上竟然只讲了一维DCT,真是略有点失望呢给一个序列/向量s(n),n=0,1,…,N−1s(n),n=0,1,\ldots,N-1s(n),n=0,1,…,N−1,它的一维DCT:{Scos(0)=1N∑i=0n−1xiScos(k)=2N∑i=0n−1xicos[(2i+1)kπ2n],k...原创 2019-05-09 17:54:19 · 2079 阅读 · 0 评论 -
拉格朗日乘子法详解(Lagrange multiplier)
拉格朗日乘子法Lagrange multiplier详解最近在视频的变换编码里推导最优变换(KL变换)时需要用拉格朗日乘子法,之前在机器学习的各种优化问题里也要用到这个方法,特此仔细钻研一番,总结如下:注:这篇博客讲的很全面,这里部分参考了他的讲解。核心:极值点处,函数和约束条件一定相切,梯度一定共线!!!!!!!!以此为思想基础构建拉格朗日函数,把等式约束条件和不等式约束都通过引入拉格朗...原创 2019-05-07 11:43:42 · 43367 阅读 · 7 评论 -
四种二维傅里叶变换对
傅里叶变换本文参考这篇文章1807年,法国数学家、物理学家傅里叶(Jean Baptiste Joseph Fourier)提出了傅里叶变换(Fourier Transform, FT)。傅里叶变换是可以推广到2维甚至更高的维度的,我们通常常用二维的就够了,因为图像常被考虑为二维离散数据。根据二维数据的连续/离散(continuous, discrete)和周期/非周期(Aperiodi...原创 2019-05-09 22:58:48 · 3051 阅读 · 0 评论 -
分形!!!
太神奇了!!!!!!!!!!!!!!!!!维度探索之二:分形之美原创 2019-10-11 16:18:29 · 548 阅读 · 0 评论