- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 乘子法
乘子法时针对外部罚函数法的改进方法，由于外部罚函数法随着罚因子的增大，增广目标函数的Hesse矩阵条件数会逐渐增大，从而导致在实际计算中，数值计算的稳定性也会变得越来越差，难以精确求解。乘子法改由在约束问题的Lagrange函数中加入相应的惩罚，使得在求解无约束问题时，罚因子不必趋于无穷大就能求到约束问题的最优解，而且数值计算的稳定性也能得到很好的保证。
2017-12-20 14:21:01
7159
1
原创 外部罚函数法
罚函数法的特点是根据问题的目标函数以及约束函数，构造出一个具有惩罚效果的目标函数序列，从而把约束最优化问题转换为对一系列无约束最优化问题的求解。而这种惩罚策略对于在无约束问题的求解过程中企图违反约束的那些迭代点给予很大的目标函数值，迫使这一系列无约束问题的极小点(迭代点)或者无线的向容许集靠近(称为外部罚函数法)，或者一直保持在容许集内移动(称为内部罚函数法，仅适用于具有不等式约束的最优化问题)，知道收敛到极小点。
2017-12-17 20:18:34
15294
2
原创 约束最优化方法之最优性条件
一般性约束最优性条件前面几篇博客主要讲了无约束最优化问题的一些求解方法。从这一篇博客开始将开始讲有约束的最优化方法。首
2017-12-07 20:51:14
21805
1
原创 高斯判别分析(GDA,Gaussian discriminant analsis)和Logistic回归
高斯判别分析与Logistic回归之间是有一定关系的，通过公式转换，我们能够把高斯判别分析的公式转换为Logistic回归公式。但是高斯判别分析与Logistic回归之间有什么关系呢？
2017-11-26 21:49:21
2047
原创 通用线性模型（GLMs，Generalized Linear Models)
相信对于大部分机器学习的初学者，都会看了斯坦福大学吴恩达的机器学习公开课，听过的话对于通用线性模型(GLM,Generalized Linear Models)获取有一点不太理解，尤其是像我一样对于一些数学知识不太了解的同学。这篇博客就写一下我对通用线性模型的理解，这只是我的理解，不一定正确，如果有不同的理解或者我理解错的点，请评论互相交流，谢谢。
2017-11-24 15:45:19
2410
原创 CentOS7搭建简易nfs
最近学习hadoop的在NFS上的HA，由于主机中没有安装NFS，所以学习了一下如何创建NFS服务器，特意做笔记如下。 本次创建的NFS服务器为临时实验用，并没有太多的安全考虑，所用主机为CentOS7版本。
2017-11-22 14:03:58
452
原创 步长加速法
前面几篇博客中，分别讲述了最速下降法、Newton法、拟Newton法和共轭方向法，这些方法中都需要计算目标函数$f(x)$的梯度，其中Newton法还需要计算目标函数$f(x)$的Hesse矩阵。我们把以上方法统称为导数方法。当然还有不计算导数的方法，称为直接方法。步长加速法就是一种简单的直接方法，对于变量较少的无约束极小化问题，步长加速法是一种简单又比较有效的方法。
2017-11-18 14:46:55
5099
2
原创 共轭方向法和共轭梯度法
共轭方向法是介于最速下降法和Newton法之间的一种方法。克服了最速下降法的锯齿现象，从而提高了收敛速度；同时，共轭方向法的迭代公式比较简单，不必求目标函数的Hesse矩阵，比Newton法减少了计算量和存储量。是一种比较实用而且有效的方法。
2017-11-16 15:18:46
21036
3
原创 拟 Newton法
在讲解Newton法是我们提到了Newton法的一些缺点，其中一些缺点已经用修正Newton法解决，还有一些缺点，比如在每次迭代过程中我们都需要计算Hesse矩阵以及它的逆矩阵，这个过程所需的计算量非常大，尤其是在变量维度增大的时候，这将会抵消掉Newton法收敛速度快的优点。拟Newton法就是在保证Newton法迭代速度快的基础上，摆脱了Hesse矩阵的计算。
2017-11-14 09:27:22
961
原创 Newton法(牛顿法)
基本思想算法修正Newton法总结上一篇博客我们讲了最速下降法(梯度下降法)，梯度下降法简单，但是收敛的速度较慢。这一篇博客将会讲述牛顿法，牛顿法对于正定二次函数具有二次终止性，有较好的收敛速度。 注：（二次终止性）对于nn元的正定二次函数求极小值问题的算法，如果从任意点出发，经过有限次迭代就能够求得极小点，我们称这种
2017-11-09 14:25:30
9723
原创 直线搜索/一维搜索
直线搜索在讲解最速下降法的博客中，讲到了使用直线搜索的方法来求解xk+1x_{k+1}（也就是求解步长因子tkt_k），但是并没有讲解什么叫做直线搜索，现在对直线搜索进行补充说明。直线搜索定义1:对于问题minϕ(t)min \phi(t)其中ϕ:R1→R1\phi:R^1\rightarrow R^1。求解该一元函数极小值问题的迭代方法我们称为直线搜索或一维搜索。 直线
2017-11-05 15:57:04
2919
原创 最优化方法预备知识（补充）
二次函数与二次规划计算终止准则在上一篇博客中写了最速下降/梯度下降法的算法中，有关于正定二次函数和终止准则进行补充说明。二次函数与二次规划定义1:函数f(x)=12xTQx+bTx+cf(x)=\frac 12x^TQx+b^Tx+c成为n元二次函数。其中Q=⎡⎣⎢⎢⎢⎢q11q21…qn1q12q22…qn2…………q1nq2n…qnn⎤⎦⎥⎥⎥⎥,b=⎡⎣⎢⎢⎢b1b2…b3⎤⎦⎥⎥⎥Q=\l
2017-11-04 10:55:56
1266
原创 最速下降法/梯度下降法
基本思想算法描述应用于正定二次函数锯齿现象梯度下降法在机器学习中是经常用到的一种方法，很多人也把梯度下降法看作是最速下降法，但是这两种方法好像还有一些细微差别，wikipedia中Gradient descent的描述中有这么一句：Gradient descent is also known as steepest descent. However, gradient descent shou
2017-11-03 17:20:30
31253
5
原创 最优化方法预备知识
多元函数Hesse矩阵凸集凸函数凸规划二次函数与二次规划极小点的判定条件《最优化方法》和《应用数理统计》是机器学习的基础，接下来一段时间我将整理整理最优化和数理统计的一些知识，整理的知识中不包含证明过程（具体的证明过程可以查阅相关书籍），在学习最优化过程中需要一点高数和线性代数基础。多元函数定理1：若f(x)在点x0x_0c处可微，则f(x)在该点关于各个变量的一节偏导数存在，并且l=[
2017-10-31 09:53:09
1841
1
原创 Spark之SparkSession
最近学习SparkSql时接触了SparkSession。SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。 在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的
2017-02-27 13:04:52
12696
原创 IDEA快捷键之for循环
intelliJ生成for循环代码。迭代器for循环iterIterate iterable | Array in J2SDK 5 syntaxitarIterate elements of arrayitcoIterate elements of java.util.CollectionitenIterate java.util.EnumerationititIterate java.util.I
2017-02-24 13:03:21
3527
1
原创 Spark SQL的DataFrame会不会存储相同的数据
spark版本 2.1.0实验结果是会存储相同的结果实验实验代码使用spark中代码示例JavaSparkSQLExample.java 代码路径：$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/sql/JavaSparkSQLExample.java该代码示例中的部分代码粘贴如下 // $example on:cre
2017-02-24 11:04:49
492
原创 动态规划
目录目录动态规划问题的基本要素1最优子结构性质2重叠子问题动态规划算法的基本步骤动态规划问题举例-最长公共子序列问题问题定义最长公共子序列的结构子问题的递归结构计算最优值构造最长公共子序列参考文献1. 动态规划问题的基本要素（1）最优子结构性质 当问题的最优解包含了子问题的最优解时，我们称问题具有最优子结构性质。 在动态规划算法中，利用问题的最优子结构性质，以自底向上
2016-11-21 21:50:28
448
斯坦福大学机器学习公开课最新讲义资料
2017-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人