- 博客(24)
- 收藏
- 关注
RSS订阅原创 CS231n李飞飞计算机视觉 神经网络训练细节part1下
神经网络训练细节part1下 权值初始化 批数据规范化Batch Normalization 超参数优化 权值初始化（1）高斯随机数乘0.01w = 0.01*np.random.randn(fan_in,fan_out)特点：在层数较少的网络中效果较好，但在随着网络层数增多会出现梯度消失。在上图的网络中，反向传播，求W1的导数，由于网络...
2019-01-29 20:40:33
147
原创 CS231n李飞飞计算机视觉 神经网络训练细节part1上
神经网络训练细节part1上 训练过程 激活函数 数据预处理训练过程取一个batch数据 将数据延着网络前向传播，计算每个单元的输出和损失 将梯度依据链式法则延网络反向传播 根据梯度更新参数激活函数Sigmoid tanh ReLU Leaky ReLU PReLU Maxout ELUSigmoid（挤压函数）函数图像：特点：...
2019-01-28 22:15:17
169
原创 凸优化第四章凸优化问题 作业题
标准形式凸优化问题If an optimization problem is feasible, its optimal value satisfies 优化问题是可行的，表示问题至少有一个可行点，而可行解可以是，只是此时我们说问题无下界。If the optimal value of an optimization problem satisfies , then the p...
2019-01-28 15:16:20
4639
原创 凸优化第四章凸优化问题 4.7向量优化
4.7向量优化广义和凸的向量优化问题 最优解与值 Pareto最优解与值 标量化 多准则优化 例子广义和凸的向量优化问题广义向量优化问题其中是优化变量，是正常锥，是目标函数，是不等式约束函数，是等式约束函数。其余标准优化问题的区别在于目标函数不是标量而是向量，且比较目标函数值的方法不再是简单的数的大小，而是有正常锥K定义的广义不等式。故也称标准优化问题为标量优化问题。...
2019-01-28 10:43:59
2671
原创 凸优化第四章凸优化问题 4.6广义不等式约束
4.6广义不等式约束锥形式问题 半定规划 例子广义不等式约束将不等式约束函数扩展为向量，并使用广义不等式，得到：其中，为正常锥，为凸的。则称此问题为广义不等式意义下的凸优化问题。结论：可行集、任意下水平集和最优集都是凸的。 上述问题的任意局部最优解都是全局最优解。 可微函数的最优性条件都成立。锥形式问题锥形式问题也称锥规划，有线性目标函数和一个不等式约束函数...
2019-01-26 20:59:45
2315
2
原创 CBDNet:Toward Convolutional Blind Denoising of Real Photographs
Toward Convolutional Blind Denoising of Real PhotographsShi Guo , Zifei Yan , Kai Zhang , Wangmeng Zuo , Lei ZhangHarbin Institute of Technology, Harbin, 150001, ChinaDepartment of Computing, Th...
2019-01-26 10:38:13
4833
1
原创 凸优化第四章凸优化问题 4.5几何规划
4.5几何规划单项式与正项式 几何规划 凸形式的几何规划 例子单项式与正项式函数定义为：函数f被称为单项式函数，或简称单项式。单项式的指数可以是任意实数，但系数c非负。单项式的和，成为正项式函数，或简称为正项式，具有下列形式：正项式对于加法、正数乘和非负的伸缩变换，以及平方运算都是封闭的，即是正项式均是正项式。几何规划具有上述形式的优化问题称为几何规划。...
2019-01-25 20:56:10
4102
1
原创 凸优化第四章凸优化问题 4.4二次优化问题
4.4二次优化问题例子 二次锥规划二次优化当凸优化问题的目标函数是凸二次型并且约束函数为仿射函数时，问题为二次规划二次约束二次规划二次约束二次规划，即目标函数和不等式约束函数均为凸二次型。这里记LP 为线性规划，QP为二次规划，QCQP为二次约束二次规划，可知当QCQP中的时，QCQP变为QP。当QP中的时，QP变为LP。例子最小二乘无约束的...
2019-01-24 14:09:32
7004
原创 凸优化第四章凸优化问题 4.3线性规划问题
4.3线性规划问题例子 线性分式规划线性规划目标函数和约束函数都是仿射函数，问题则称为线性规划。一般的线性规划形式:其中，显然线性规划问题是凸优化问题。因为不等式约束函数和等式约束函数都是仿射函数，所以可行集是一个多面体。所以也就是相等于在多面体中找一个使得最小，即找一个最大的。例子食谱问题表示n种食物的量，一份健康的饮食包含m种不同的营养，每种至少要，...
2019-01-22 10:15:34
2622
原创 凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题 局部最优解与全局最优解 可微函数的最优性准则 等价的凸问题 拟凸优化标准形式的凸优化问题是凸函数，等式约束是仿射函数。则此优化问题是凸优化问题。也可以写成重要性质：凸优化问题的可行集也是凸集。证明：可行集是满足不等式约束和等式约束的点的集合，首先不等式约束函数是凸函数，满足不等式约束的x，相当于是的0-下水平集，凸函数的下水平...
2019-01-21 21:15:50
7489
3
原创 凸优化第四章凸优化问题 4.1优化问题
4.1优化问题基本术语 问题的标准表示 等价问题 参数与谕示问题描述基本术语是优化变量也叫决策变量。为目标函数，或者费用函数。是不等式约束函数。是等式约束函数。如果m=p=0，即没有约束，此时问题为无约束问题。在实际生活中可以这样理解该优化问题，即我们要生产产品，其数量为x，要确定生产数量以使得费用最低，而约束函数则可以理解为在实际产生中受到的限制比如资源消...
2019-01-21 15:59:04
1310
原创 凸优化第三章凸函数 作业题
水平集1)Some level sets of a function f are shown below. The curve labeled 1 shows,etcWhich of the following properties could f have?由图像可看出f(x)的下水平集是凸集，故函数是拟凸函数，但不能由下水平集是凸集而判断函数是凸函数还是凹函数。而函数上水平...
2019-01-20 17:07:28
5411
原创 凸优化第三章凸函数 3.6关于广义不等式的凸性
3.6关于广义不等式的凸性定义设是一个正常锥，对应的广义不等式，函数是K-凸的，如果矩阵凸性设函数f是对称矩阵值函数，即，称函数f关于矩阵的不等式是凸的如果，这种凸性为矩阵凸性。其等价的定义是对任意的向量z，标量函数都是凸函数。例子函数是凸的证明：现证的凸性因为故上式所以函数是凸的，所以 ...
2019-01-20 11:01:35
802
原创 凸优化第三章凸函数 3.5对数-凹函数和对数-凸函数
3.5对数-凹函数和对数-凸函数定义 相关性质定义称函数对数凹，如果是凹函数。称函数对数凸，如果是凸函数。函数f是对数凸的当且仅当1/f是对数凹的。当时，，相当于对log(f)进行扩展值延伸，此时，如果扩展值函数log(f)是凹函数，则f是对数凹的。函数，其定义域时凸集，且，函数是对数凹的当且仅当特别的，当时，上式即对数凹函数在两点之间中间的函数值不小于这两...
2019-01-20 10:04:03
4937
原创 凸优化第三章凸函数 3.4拟凸函数
3.4拟凸函数定义及例子 基本性质 可微拟凸函数定义及例子定义函数称为拟凸函数，如果其定义域和所有下水平集，都是凸集。如果f(x)是拟凸函数，则-f(x)是拟凹函数。拟凹函数：每个上水平集均为凸集。如果一个函数既是拟凸函数又是拟凹函数，其为拟线性函数。如上图，，两个下水平集均为凸集。而上图，，显然不是凸集，f(x)不是拟凸函数。结论：凸函数具有凸的下水平集...
2019-01-19 16:14:45
4150
1
原创 凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义 基本性质定义设函数，定义函数为：此函数称为f(x)的共轭函数。从3.2节逐点上确界的内容也可以看出，此函数也是的逐点上确界函数，而是关于y的仿射函数，可以将其看成是凸函数，这样也是凸函数。故对任意的函数f(x)，为凸函数。在实际问题中，可以将x理解为生产一个产品所需要的资源，而f(x)则为生产x的资源的价格，y则是x的销售价格，那么也就变成了最大盈利问题...
2019-01-18 12:53:28
3656
1
原创 凸优化第三章凸函数 3.2保凸运算
3.2保凸运算非负加权求和 复合仿射映射 逐点最大和逐点上确界 复合 最小化函数 透视函数非负加权求和凸函数的非负加权求和得到的函数仍为凸函数如果均为凸函数，，仍为凸函数。证明：因为是凸函数，故得证例子：复合仿射映射f(Ax+b),如果f是凸函数，f(Ax+b)也是凸函数，如果f是凹函数，f(Ax+b)也是凹函数。逐点...
2019-01-18 09:59:27
4123
原创 凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义 扩展值延伸 一阶条件 二阶条件 例子 下水平集 上境图 Jensen不等式及其扩展 不等式定义函数f是凸函数，当f的定义域S是凸集，且严格凸函数：从几何上来看，如下图，函数f上的任意两点之间的弦都在函数图像之上。函数f是凸函数，当且仅当在与函数f的定义域S相交的任何直线上，f均是凸的。当且仅当g(t)是凸的，f(x)是凸的...
2019-01-16 15:15:47
11730
原创 凸优化第二章凸集 2.6对偶锥与广义不等式
2.6对偶锥与广义不等式对偶锥 广义不等式的对偶 对偶不等式定义的最小元和极小元对偶锥锥K的对偶锥是集合如上图左图的y是K的对偶锥的一个元素，右图z不是K的对偶锥的元素，几何上看当且仅当-y是K在原点的一个支撑超平面的法向量。广义不等式的对偶如果K是正常锥，则K可导出一个广义不等式，并且K的对偶也是正常锥，其对偶也可以导出一个广义不等式。定义：广义不等式为广义不等...
2019-01-15 20:51:01
2115
1
原创 凸优化第二章凸集 2.5分离与支撑超平面
2.5分离与支撑超平面超平面分离定理 支撑超平面超平面分离定理假设C和D是两个不相交的凸集，即，那么存在和b，使得为集合C和D的分离超平面。支撑超平面定理支撑超平面：假设集合，是其边界bdC上的一点，如果，并且，则超平面为集合C在点处的支撑超平面。支撑超平面定理：如果集合C是凸集，那么在C的每一个边界点，均存在支撑超平面。 ...
2019-01-15 19:30:30
6060
2
原创 凸优化第二章凸集 2.4广义不等式
2.4广义不等式正常锥与广义不等式 最小元和极小元正常锥一个锥K是正常锥需要满足以下几个条件：K是凸的 K是闭的 K是实的，具有非空内部 K是尖的，不包含直线广义不等式用正常锥可以定义广义不等式，即上的偏序关系。严格偏序关系:当时，这种偏序关系也就是R上实际的例子：分量不等式：矩阵不等式:，半正定。广义不等式的性质：对于加法保序： 传递...
2019-01-15 19:10:59
4415
原创 凸优化第二章凸集 2.3保凸运算
2.3保凸运算交集 仿射函数 线性分式及透视函数交集几个凸集的交集也是凸集。仿射函数假设仿射函数仿射函数有两个特性：凸集S在仿射函数f下的像是凸的。 凸集S在f的原像是凸的。，（注，数学上函数存在反函数，当且仅当函数是一一映射且是满射，但是在这个定义里面，不要求函数f具备这样的条件。）这里书中给出对凸集S进行伸缩和平移后得到的集合仍为凸集，两个凸集的和仍为凸集。...
2019-01-15 16:50:00
3256
原创 凸优化第二章凸集 2.2重要例子
2.2重要例子1 空集、单点集、都是的仿射2 任意直线都是仿射3 一条线段是凸的，但不是仿射4 射线是凸的，但不是仿射5 任何子空间都是仿射的、凸锥超平面与半空间超平面数学上超平面是具有下列形式的集合:从上式看出，超平面其实是线性方程的解空间。从几何上看，超平面其实是以a为法向量的平面。如下图：半空间半空间数学上的定义是几何上是：...
2019-01-15 15:33:27
2125
原创 凸优化第二章凸集 2.1仿射集合和凸集
第二章凸集主要内容:仿射集合和凸集 重要例子 保凸运算 广义不等式 分离和支撑超平面 对偶锥与广义不等式2.1仿射集合和凸集仿射集合仿射集合：集合中任意两个不同点的直线仍然在集合中，那么称集合是仿射集合。如上图，对于，取不同的可以得到不同的点，这些点构成了经过的直线。如果将两个点扩展到多个点，引出仿射组合的概念，首先，则具有的形式的点为的仿射组合。仿...
2019-01-15 10:04:14
1155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人