- 博客(39)
- 收藏
- 关注
RSS订阅原创 lua学习 第二章数据与标准库
第二章数据与标准库表格表格是lua中唯一的数据结构。--创建表格x = 5a = {}b = { key = x, antherkey = 10 } --字符串做keyc = { [x] = b, ["string"] = 10, [34] = 10, [b] = x} --[x]=b，x是key，内容是表格ｂ--给表格赋值a[1] = 20a["foo"] = 50...
2019-02-27 22:39:38
119
原创 lua学习 第一章语言要点
第一章语言要点基本语法lua不使用分号和大括号。变量和类型lua的变量是无类型的，可以直接定义x=2。也可以此意定义多个变量x,y,z= 1,2,3几个值得注意的常量：nnil通常代表未定义的值，指nothing’ true和false：在条件中，false和nil都是false，其他均为true操作or and < > <= >...
2019-02-27 19:43:05
257
原创 CS231n李飞飞计算机视觉 循环神经网络
循环神经网络循环神经网络：Recurrent Nerual Network，简称RNN。RNN可以有很多种结构，包括一对一的Vanilla网络，一对多的图像字幕，多对一的情感分类（处理一定数量的按顺序排列的词，然后试着把句子里的词，按正面和负面情感分类），多对多的机器翻译（将一个序列翻译成另一个序列）、视频分类。RNN例子RN有其自己内部的状态，但是在每个时间点接收内容，...
2019-02-27 17:00:50
485
原创 凸优化第九章无约束优化 9.3梯度下降方法
9.3梯度下降方法梯度下降方法 例子梯度下降方法用负梯度做搜索方向，即令，这种下降方法称为梯度下降方法：给定初始点重复进行 直线搜索：通过精确或回溯直线搜索方法确定步长t 修改：直到满足停止条件停止准则通常取为：，其中是小正数。一般情况下步骤１１完成后就检验停止条件而不是在修改后才检验。例子空间的二次问题考虑上的二次目标函数：，显然最优点是。f的海瑟矩...
2019-02-27 11:31:19
1332
原创 凸优化第九章无约束优化 9.2下降方法
9.2下降方法下降方法将产生一个优化点列其中，且。是一个向量表示步径或搜索方向。标量被称为第k次迭代的步长。方法的思想：只有不是最优解，就找一个比更好的点。由目标函数凸性可知（一阶特征），可知时，，于是可知，而在下降方法中显然，而且要求，故下降方法中的搜索方向必须满足，即它和负梯度放心的夹角必须是锐角。这样的方向为下降方向。下降方法：确定下降方向，然后选择步长t，其一般框架如下：...
2019-02-27 10:06:26
430
原创 凸优化第九章无约束优化 9.1无约束优化问题
9.1无约束优化问题例子 强凸性及其含义无约束优化问题其中是二次可微凸函数（dom(f)是开集），假设该问题可解，存在最优点，这里用表示最优值。由于f是二次可微凸函数，最优点应满足：所以无约束优化问题的求解变成了求解上述方程的解。一般情况下，必须采用迭代算法求解此方程，即计算点列使得时，，这样的点列被称为优化问题的极小化点列。当时，算法将终止，其中是设定的容许误差值。初始点...
2019-02-26 20:30:59
1182
原创 CS231n Assignment1 Knn
数据CIFAR10，下载python版本。作业内容实现一个knn分类器，用次knn分类似对CIFAR10的数据进行训练和预测。knn分类器：knn分类器额工作分为两部（１）训练：读取训练数据并存储训练数据。（２）测试：对于每一个测试图像，knn计算它与每一个训练集的距离，找出距离最近的k个训练图像，这k个图像中，占数目最多的标签类别，就是测试图像的预测类别。而计算图像之间的...
2019-02-26 16:37:30
363
原创 凸优化有关的数值线性代数知识 作业题
矩阵结果与算法复杂性Algorithm flop counts allow for very accurate and precise prediction of running time on a given computer.About how long does a 1 Gflop computer take to solve a system of 100 linear equ...
2019-02-25 18:29:45
558
原创 凸优化有关的数值线性代数知识 4分块消元与Schur补
4分块消元与Schur补消除部分变量 逆矩阵引理消除部分变量考虑Ax=b，将变量分为凉快或两个子向量对线性方程组Ax=b做同样的划分，其中假设可逆，则按以下方式消去，，再将其代入第二个方程得到其中是矩阵A的第一个分块矩阵的Schur补。当且仅当A非奇异时，Schur补S是非奇异矩阵。通过分块消元求解线性方程组给定非奇异线性方程组Ax=b，其中非奇...
2019-02-25 18:16:16
1835
原创 凸优化有关的数值线性代数知识 3LU Cholesky和LDL因式分解
3LU Cholesky和因式分解LU因式分解 Cholesky因式分解 因式分解LU因式分解每一个非奇异矩阵都可以因式分解成A=PLU，其中是排列矩阵，是单位下三角矩阵，是非奇异上三角矩阵。这种形式被成为Ａ的LU因式分解。也可以写成。计算LU因式分解的标准算法被称为Gauss部分主元消元法，或Gauss行变换消元法。不考虑Ａ的结构，计算Ａ的LU因式分解的成本是。通过LU因式...
2019-02-25 10:34:43
681
原创 凸优化有关的数值线性代数知识 2求解已经因式分解的矩阵的线性方程组
2求解已经因式分解的矩阵的线性方程组容易求解的线性方程组 因式分解求解方法容易求解的线性方程组先讨论矩阵A是n维可逆矩阵的情况，即对角矩阵假设A是非奇异对角矩阵，线性方程组Ax=b可以写成，方程组的解为，即经过n次浮点运算即可。下三角矩阵矩阵A是n维非奇异下三角矩阵：即，下三角矩阵非奇异的充要条件是对所有的i成立。此时Ax=b可以写成：可推出：共需要...
2019-02-24 18:52:44
284
原创 凸优化有关的数值线性代数知识 1矩阵结构与算法复杂性
1矩阵结构与算法复杂性基于浮点运算次数的复杂性分析 基本的矩阵-向量运算成本求解线性方程组，A为系数矩阵，b为右边项。求解该方程组的一般性彼岸准方法所需要的计算量大约和成比例。但如果A具有特殊的结构，比如对称矩阵，对角矩阵，系数矩阵等，可以大大减少计算量。基于浮点运算次数的复杂性分析数值线性代数算法的成本经常表示为完成算法所需要的浮点运算次数关于各种问题维数的函数。浮点运算次数...
2019-02-24 15:00:08
796
原创 凸优化第八章几何问题 作业题
极值体积椭圆 Let be a polyhedron described by a set of linear inequalities, and a a point in . Which of the following problems are easy to solve? Check all that apply. (Easy means the solution can be fou...
2019-02-22 18:58:42
762
原创 凸优化第八章几何问题 8.6分类
8.6分类线性判别 非线性判别线性判别在线性判别中，寻找仿射函数用以区分这些点，即在几何意义上，即寻找分离两个点集的超平面。因为严格不懂呢过是对于a和b是齐次的，所以它们是可行的，当且仅当不严格不等式组：是可行的。下图是两个点集即线性判别函数的例子。鲁棒线性判别如果两个集合可以倍被别，那么存在一个可以分离它们的仿射函数的多面体，于是我们可以从中选择某些稳...
2019-02-22 18:53:54
578
2
原创 凸优化第八章几何问题 8.5中心
8.5中心Chebyshev中心 最大体积椭球中心 不等式组的解析中心Chebyshev中心多面体的Chebyshev中心设C是有线性不等式组定义，如果，则于是Chebyshev中心可以通过求解线性规划：最大体积椭球中心定义C中具有最大体积椭球的中心为C的最大体积椭球中心，记为，如下图。不等式组的解析中心一组凸不等式和线性方程的解析中心定义为凸...
2019-02-22 16:16:52
1063
原创 凸优化第八章几何问题 8.4极值体积椭圆
8.4极值体积椭圆Lowner-John椭球 最大体积内接椭球 椭球逼近的效率Lowner-John椭球包含集合C的最小体积椭球被成为集合C的Lowner-John椭球，记为，为方便描述的特征，将一般的椭球参数化为即Euclid球在仿射映射下的原象。可以不是一般性地假设，此时的体积正比于。计算包含C的最小体积椭球的问题可以表述为：其中，且存在一个隐含约束。目标函数和约束函...
2019-02-22 10:51:20
2210
原创 凸优化第七章统计估计 作业题
极大似然估计Let be independent samples from an N(μ,Σ) distribution, where it is known that , where and are given positive definite matrices. Which of the following is true?最优检测器设计Consider a binar...
2019-02-19 19:16:57
516
原创 凸优化第七章统计估计 7.5实验设计
7.5实验设计松弛实验设计问题 标量化考虑通过测量或实验：估计向量的问题，其中是测量噪声。假设是独立同分布的高斯噪声，均值为0，方差为1。于是x的最大似然估计，也是最小方差估计：目标函数对x求偏导，得到：令其为0，解得，故极大似然估计的解为：相应的估计误差：均值为0，协方差矩阵：矩阵E刻画了估计经度或是实验的信息度。例如x的-置信水平椭圆为：其中是常熟，...
2019-02-16 21:29:58
461
原创 凸优化第七章统计估计 7.3最优检测器设计及假性检验
7.3最优检测器设计及假性检验二值假设检验检测问题 随机检测器 检测概率矩阵 检测器设计的多准则表述 标量化检测问题：假设X是随机变量，在中取值，其概率密度分布和参数的取值有关，对的m个可能值，X的概率密度分布可以由矩阵表征，其元素为：，即矩阵的第j列对于参数值的概率分布。对的m个可能值称为m个假设，我们需要从假设中猜想哪个是正确的，这个问题称为假设检验，而假设检验也可以...
2019-02-16 19:59:55
747
原创 凸优化第七章统计估计 7.1参数分布估计
7.1参数分布估计分布估计问题：从观察变量出发，估计一个随机变量的概率密度。参数分布估计：从一族概率密度（x的似然函数，每个概率分布对应一个参数向量x）中，选择一个概率密度。最大似然估计参数估计：根据观测到的服从分布的一个样本y，估计参数x的值。而最大似然估计，则是选择是的似然函数在y的观测值处最大的那个参数作为x，直白地说，已知y的观测值，找到使y得观测值出现的概率最大的参数x。...
2019-02-16 14:11:34
1083
原创 凸优化第六章逼近与拟合 作业题
范数逼近Since the l1 norm is not differentiable at 0, solvingis much more computationally expensive than solvingwhere is the variable.最小范数问题 Let be optimal for the least-norm problem...
2019-02-15 10:23:19
918
原创 凸优化第六章逼近与拟合 6.4鲁棒逼近
6.4鲁棒逼近随机鲁棒逼近 最坏情况鲁棒逼近逼近的基本目标为，但是希望考虑到矩阵A的不确定性。随机鲁棒逼近：假设A是随机变量，极小化最坏鲁棒逼近：在A的取值中，极小化随机鲁棒逼近假设A是在中取值的随机变量，均值为，因此可以将A描述为，U为零均值随机变量。自然地，用的均值作为目标函数，即这一问题称为随机鲁棒逼近问题。举一简单的例子，假设A具有有限个可能值，且其中，...
2019-02-14 21:05:26
1594
原创 凸优化第六章逼近与拟合 6.3正则化逼近
6.3正则化逼近双准则式 正则化 例子双准则式目标是寻找向量x使其较小，而且使得残差Ax-b也较小。即其中，两个范数分别在上。解释：（1）估计解释：线性y=Ax+v,x是估计值，v是噪声，y是测量值，先验知识为x很小，目标就是在y=b的时候照的最好的估计值x。（2）最优设计：x越小越偏析越高效，模型y=Ax只对较小的x有效。（3）鲁棒性解释：目标函数为Ax-b，当...
2019-02-14 15:21:46
1160
原创 凸优化第六章逼近与拟合 6.2最小范数问题
6.2最小范数问题最小范数问题具有如下形式：其中，为上一种范数，A的行向量相互独立，，m=n时唯一可行解是，无意义，所以只有当时，方程Ax=b不定时，最小范数问题才有意义。即解释：（1）几何解释：可行集是是仿射集合，目标函数是在下x和0的距离。即在仿射集合中找到距离0最近的点。（2）估计解释：假设x为待估计的变量，有m<n个很好地线性测量值，由Ax=b给出，但是测...
2019-02-13 15:43:53
1701
原创 凸优化第六章逼近与拟合 6.1范数逼近
6.1范数逼近基本的范数逼近问题 罚函数逼近基本的范数逼近问题其中，且是一种范数。范数逼近问题的解有时又被称为在范数的近似解。表示问题的残差。解释：（1）几何解释：在A的列空间上找到一个在范数下离b最近的点。（2）估计的解释：假设y=Ax+v，y是测量值，v是噪声，x是待估计的参数向量。给定y=b，找到最好的估计值，使得最小。（3）设计的解释：x是设计变量，...
2019-02-13 14:25:14
3062
原创 凸优化第五章对偶 作业题
Lagrange对偶问题The dual function provides a lower bound on the optimal value for convex optimization problems only.对偶函数可以为任意优化问题的最优值提供下界。The dual function of an optimization problem evaluated at ...
2019-02-12 15:55:11
1904
原创 凸优化第五章对偶 5.9广义不等式
5.9广义不等式Lagrange对偶 最优性条件Lagrange对偶其中是正常锥。对于问题中的每个广义不等式，引入Lagrange乘子向量，，并定义相关的Lagrange函数：对偶函数：弱对偶性：如果，即广义不等式的Lagrange乘子必须是对偶非负的，则对偶问题：弱对偶性始终成立。在广义不等式的情况下，强对偶性成立的条件：原问题是凸的且满足约束...
2019-02-12 09:38:16
866
原创 凸优化第五章对偶 5.7例子
5.7例子引入新的变量以及相应的等式约束 隐式约束一个问题的等价问题会得到非常不一样的对偶问题。有些时候利用原问题的等价问题是非常有用的，因为原问题的对偶问题可能很难求解或者不是我们所感兴趣的，而其等价问题的对偶问题却容易求解。引入新的变量以及相应的等式约束例子1考虑如下无约束问题：此问题的对偶问题是他本身，没有什么意义。现在引入新的变量y，y=Ax+b，此时问题：...
2019-02-11 20:16:09
683
原创 凸优化第五章对偶 5.6扰动及灵敏度分析
5.6扰动及灵敏度分析扰动的问题 全局不等式 局部灵敏度分析扰动的问题原问题和对偶问题扰动的问题：表示放宽约束，表示加紧约束。记为扰动后问题的最优值。扰动后的对偶问题：全局不等式假设强对偶性成立，且对偶问题可以达到最优值，且是未扰动的对偶问题的最优解，有如下结论：证明：根据强对偶性：，假设x是扰动问题的任意可行解，根据定义，可知又因为扰...
2019-02-11 09:59:24
1064
原创 凸优化第五章对偶 5.5最优性条件
5.5最优性条件互补松弛性 KKT最优性条件互补松弛性假设问题具有强对偶性，为其原问题的最优解，为其对偶问题的最优解，可知：根据对偶函数的定义，可知小于等于任意的所以取时，也成立，故再根据可知所以上述不等式的等号成立。推出两点：（1）最小化（2）上式等号成立，即：且（等式约束），所以可推出，而所以，成为互补松弛性。也可...
2019-02-10 20:07:40
1431
原创 凸优化第五章对偶 5.3几何解释
5.3几何解释对偶函数的解释 上境图对偶函数的解释简单考虑只有一个不等式约束定义已知对偶函数：所有对偶函数相当于在G上极小化，得到斜率为的支撑超平面。下图，t表示，u表示约束函数值原优化问题在于在约束条件下找到最小的t，G为约束函数值和目标函数值的所有取值的集合，约束函数为，即在坐标轴左侧找最小的t，故找到最优解（如上图）。 上图三条直线则表...
2019-02-10 14:25:43
1331
原创 凸优化第五章对偶 5.2Lagrange对偶问题
5.2Lagrange对偶问题Larange对偶问题 弱对偶性 强对偶性和slater约束准则 例子Lagrange对偶问题对于任意的一组，对偶函数给出了优化问题的最优值的一个下界。从Lagrange函数能够得到的最好下界是什么？将此问题转化为优化问题：上述问题为原问题的Lagrange对偶问题，且是一个凸优化问题，因为是凹函数。如果是Lagrange对偶问题的最优解，...
2019-02-10 11:19:28
1691
原创 凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数Lagrange Lagrange对偶函数 最优值的下界 例子 Lagrange对偶函数和共轭函数Lagrange标准形式的优化问题：其中，问题的定义域，注意这里不要求该优化问题是凸优化问题。定义问题的Lagrange函数为：定义域：，为第i个不等式约束对应的Lagrange乘子，为第i个等式约束对应的Lagrange乘子。向量为...
2019-02-09 18:47:43
2322
原创 CS231n李飞飞计算机视觉 迁移学习之物体定位与检测下
迁移学习之物体定位与检测下目标检测当输入一张图片，图片包含几个类别的几个对象，需要找到每个对象的边界框。如下图：能否将目标检测当成回归问题？对于不同的图片输出的多个对象的边界框，可能输出4个边界框也可能输出8个边界框，输出的数量不固定，所以无法当成是回归问题。将其当做分类问题：把图片的一部分输入到CNN中，对其进行分类和定位。比如输入的大小是怎么确定的？将其从小到大全部...
2019-02-09 14:03:19
676
1
原创 CS231n李飞飞计算机视觉 迁移学习之物体定位与检测上
迁移学习之物体定位与检测上分类和定位分类：给定一个图像，输入图像包含的对象的类别。定位：给定一个图像，找到图像中对象所在的区域，即找出边界框。数据集：一千个类别，每个类别有800张图像。网络结构如上图，定位和分类可以同时训练也可以分别训练。方法一：当做回归问题求解分类是一个回归问题，可以将定位也当成回归问题，定位及找到对象所在边界框，边界框为方形，所以确定边界框的左...
2019-02-09 11:48:28
479
原创 CS231n李飞飞计算机视觉 卷积神经网络详解下
卷积神经网络详解下LeNet-5 AlexNet ZFNet VGGNet GoogLeNet ResNetLeNet-5LeNet-5的结构是卷积-池化-卷积-池化-全连接层。AlexNetAlexNet：最后的1000个神经元对应1000种分类。AlexNet第一次使用了ReLU，使用了现在不常用的规范化，对数据进行了数据增强，在全连接层使用了dropo...
2019-02-09 09:37:52
479
原创 CS231n李飞飞计算机视觉 卷积神经网络详解上
卷积神经网络详解上卷积层：分别表示数据的宽、高、深度卷积：输入数据大小：，滤波器大小：。滤波器与输入数据在左上角对齐，从该位置依次从左向右，从上到下滑动滤波器，滑动步伐为stride，滤波器与其覆盖的数据的对应位置相乘然后加和，在加上偏置，得到该位置的激活反应，对整个图像的卷积得到一个激活映射。如果D1=D2，滤波器直接按上述卷积，一般D1=D2。如果，假设D1=3,D2=1,让滤波器分别...
2019-02-04 09:41:01
639
原创 CS231n李飞飞计算机视觉 神经网络训练细节part2下
神经网络训练细节part2下集成模型 dropout集成模型训练：单独训练多个模型测试：采用多个模型的测试结果均值做为结果可以提升2%。单模型：在训练过程中设置检查点，然后验证验证集中的数据。集成模型：在不同的模型中分贝设置检查点，然后用每个模型对验证集中的数据结果得到的均值作为验证结果。dropout随机失活：在前向传播和反向传播过程中，随机地使网络中的神经元...
2019-02-03 15:10:58
145
原创 CS231n李飞飞计算机视觉 神经网络训练细节part2上
神经网络训练细节part2上参数更新机制SGD Momentum update Nesterov Momentum update AdaGrad update RMSProp update Adam updateSGD随机梯度下降：x += - learning_rate * dx特点：如果在水平方向上梯度较小，而在垂直方向上梯度较大，会造成在水平方向更新较慢，而...
2019-02-02 23:27:44
234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人