数学-凸优化
文章平均质量分 77
q__y__L
学习方向是大数据,模式识别。。。微
展开
-
4个基本不等式的函数证明
也就是上面这个函数可以一下子证明完上面的不等式链。其中a、b都是大于0的常数。在此之前,我们需要考虑函数。原创 2023-07-03 15:41:12 · 828 阅读 · 0 评论 -
SVM的matlab实现——CVX工具箱应用
机器学习经典算法SVM,网上有各种博客介绍,以及各种语言的源代码。 这里提供SVM几种版本的matlab实现,主要目的是熟悉利用CVX来求解凸优化问题。basic SVM 推导什么的就不说了,直接搬最后的公式: minw,b2∥w∥22\min_{\mathbf w,b}\frac{2}{\|\mathbf w\|_2^2} s.t.yi(wTxi+b)≥1,i=1,...,Ls.t.原创 2017-05-21 21:34:40 · 6494 阅读 · 7 评论 -
文章标题
矩阵中的概念还是很多的,时间一长很容易忘记,这里做一个摘录,已备不时之需。线性空间生成子空间 设x1,x2,⋯,xm设\bf {x_1,x_2,\cdots,x_m} 是数域KK上的线性空间VV的一组向量,其所有可能的线性组合的集合V1=k1x1+⋯+kmxm,(ki∈K,i=1,2⋯,m)V_1={k_1\mathbf {x_1}+\cdots+k_m\mathbf x_m },(k_i\in原创 2017-03-08 16:40:15 · 446 阅读 · 0 评论 -
矩阵中的一些基本概念
矩阵中的概念还是很多的,时间一长很容易忘记,这里做一个摘录,已备不时之需。线性空间生成子空间 设x1,x2,⋯,xm设\bf {x_1,x_2,\cdots,x_m} 是数域KK上的线性空间VV的一组向量,其所有可能的线性组合的集合V1=k1x1+⋯+kmxm,(ki∈K,i=1,2⋯,m)V_1={k_1\mathbf {x_1}+\cdots+k_m\mathbf x_m },(k_i\in原创 2017-01-05 11:19:00 · 5279 阅读 · 0 评论 -
PCA学习笔记
主成分分析(PCA)是一个很普通的数据将维方法,但是也是很常用的一个方法。虽然不难理解,但是时间一长容易和LDA搞混,于是决定自己重新梳理一遍。数据集的0维代表假设你有n个d维样本x1,x2,⋯,xn,如果我们希望用一个d维的向量代表这n个样本,或者说找一个代表向量和其他样本的总体差距越小越好(体现代表性),定义平方误差准则函数:假设你有n个d维样本\mathbf {x_1,x_2,\cdots,原创 2016-12-27 15:01:49 · 699 阅读 · 0 评论 -
静态变量的一点小知识
大家先看一个简单的代码,想想它的结果会是什么?#include <iostream>using namespace std;void fun(int i){ static int value=i++; value=i++; cout<<value<<endl;}int main() { // your code goes here fun(0);原创 2016-12-23 10:26:25 · 733 阅读 · 0 评论 -
从最小二乘学习推出SVM
最小二乘和SVM都是大家熟悉的算法,但是一般讲SVM或者最小二乘时都不会讲到它们之间的联系,但实际上SVM是可以从最小二乘中推导出来的。最小二乘和SVM都是大家熟悉的算法,但是一般讲SVM或者最小二乘时都不会讲到它们之间的联系,但实际上SVM是可以从最小二乘中推导出来的。关于最小二乘 为了便于理解后面的SVM,这里还是先简单说一下最小二乘学习法。以最容易的ℓ2约束的最小二乘学习法为例:\quad原创 2016-11-22 11:36:13 · 2333 阅读 · 0 评论 -
dijstra算法代码
dijstra算法是计算一个顶点到其余各顶点的最短路劲,解决有向图中最短路径问题。它的特点是从起始点为中心向外层层扩展,一直扩展到终点未止.\quad dijstra算法是计算一个顶点到其余各顶点的最短路劲,解决有向图\\中最短路径问题。它的特点是从起始点为中心向外层层扩展,一\\直扩展到终点未止. 算法思想:设G=(V,E)是一个带权有向图,把图中顶点集合V分成2组 算法思想:设G=(V,E)是原创 2016-09-26 10:10:42 · 1282 阅读 · 0 评论 -
迭代算法的收敛性
迭代算法必须收敛,所产生的极小化序列Xk具有这样的性质:或者序列中的某一点就是极小点X∗;或者序列收敛于极小点X∗,即满足\quad迭代算法必须收敛,所产生的极小化序列{X_k}具有这样的性质:或者序列中\\的某一点就是极小点X^*;或者序列收敛于极小点X^*,即满足 limk→∞∥Xk−X∗∥=0\lim_{k\rightarrow \infty}\|X_k-X^*\|=0 但求解非线性最优化问原创 2016-07-07 09:08:18 · 30036 阅读 · 1 评论 -
迭代算法的基本格式
选定初始点X0,令下标变量k=0,然后按照某种规则把Xk映射为后继点Xk+1,从而形成一个迭代序列{Xk},这种规则称为迭代算法。如果某个函数f(X),迭代序列恒满足f(xk+1)<f(xk),则称此迭代算法为下降迭代算法,简称下降算法。选定初始点X_0,令下标变量k=0,然后按照某种规则把X_k映射为后继点X_{k+1},从而形成一个迭代序列\{X_k\},这种规则称为迭代算法。如果某个函数f(X原创 2016-07-05 20:51:51 · 2937 阅读 · 0 评论 -
弱对偶理论与极大极小不等式的证明
极大极小不等式及其证明这个问题是我最近看凸优化理论时遇到的,是关于强弱对偶性的极大极小描述,我先给出相关背景,然后再给出不等式的证明。 这个问题是我最近看凸优化理论时遇到的,是关于强弱对偶性的极大极小描述,我先给出相关背景,然后再给出不等式的证明。 为了简化问题,我们假设没有等式约束;事实上可以很容易的扩展至有等式约束的情形。为了简化问题,我们假设没有等式约束;事实上可以很容易的扩展原创 2015-12-17 16:03:00 · 3120 阅读 · 4 评论 -
凸优化中的数学(二)范数,距离,单位球
凸优化中的数学(二)之——范数,距离、单位球我们首先给出范数的定义:原创 2015-12-13 15:42:24 · 10215 阅读 · 2 评论 -
matlab凸优化工具箱——cvx简介
matlab中的凸优化工具箱 ——cvx简介 这学期选了王书宁的凸优化这门课,教材也是用的祂翻译的教材,平时作业都是用matlab编写。最近无意发现原来还有CVX这样专门的工具箱,想的这下能节省不少时间,下面介绍一下cvx的安装和用法。 matlab本身是没有cvx的工具箱,需要到[cvx主页],(http://cvxr.com/cvx/)上下载,菜单上有个download,进入后选择适合你的原创 2015-12-09 23:51:24 · 49214 阅读 · 0 评论 -
凸优化中的数学基础知识(范数篇一)内积,欧式范数
凸优化中的数学基础知识(范数篇一)内积,Euclid范数和夹角定义原创 2015-11-08 17:16:28 · 5567 阅读 · 2 评论