- 博客(4)
- 收藏
- 关注
RSS订阅原创 理论补充2
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。相反，考虑一个内凹的碗面，碗面上的每个点都具有负曲率，因为在每一点上碗面都向内弯曲。操作的特点，让计算机对一组指令（或一定步骤）重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。二次函数的一阶导数为0的点称为函数的驻点，驻点可以划分函数的单调区间。随着特征数量的增加，模型的复杂度也逐渐增加，模型对样本的拟合程度也在逐步提升。
2023-10-12 13:05:14
58
原创 无约束优化的自适应三次高估方法。
我们关于此类算法的工作借鉴了几条独立的研究路线，有些是最近的，有些是二十五年前的。这些界与涅斯捷罗夫和Polyak[ 25 , § 3 ]证明的算法3.3的界。，即使在大规模问题中也保持了计算上的可行性。通过我们的ACO方法，我们证明了。首先在[ 19 ]中用不同的方法证明，然后在[ 25 ]中独立证明，给出了。，当在CUTEr 测试集中的所有小的无约束问题上进行测试时，该代码的性能。个子空间的全局极小值满足的一些更一般的性质。(见§ 6.2 )。的一个强有力的刻画，如§ 6.1所示.我们的研究表明，
2023-10-11 17:49:42
63
原创 理论储备1
并根据沿该试探步所获得的目标函数的实际下降量与二次近似函数的下降量的比率的大小决定迭代点和有界集的变化的求解无约束最优化问题的迭代算法。信赖域方法[ 4 ]和线搜索方法[ 8 ]是两种常用的无约束优化收敛方案，常用于实现牛顿型迭代的全局化。，即从给定的初始解出发，通过逐步迭代，不断改进，直到获得满意的近似最优解为止。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常。中，线搜索是一种寻找目标函数的。海森矩阵、海瑟矩阵、海塞矩阵。（2）信赖域算法的基本思想。（5）信赖域算法的步骤。
2023-10-08 13:32:06
366
1
原创 最优化模型（仿射集、凸集和凸锥的理解）
注意：常见集合体，如直线、线段、平面、球体、立方体、圆锥等都是。，即集合C中任意两点间的线段仍在C中。其中，conv C是集合Cd的凸包。，如果过C中任意两个不同点的直线仍在集合C中，则称集合C是仿射集。，即仿射集C中任意两点的系数之和为1的线性组合仍包含在C中。若集合C是锥，并且是凸集合，则为凸锥，即对于。：cl C\relint C，此处cl C为C的闭包。中的点的所有仿射组合组成的集合称为C，记为aff C。空间中的两个点，则具有该形式的点。则若C是一个仿射集，：集合C的仿射包的维数。
2023-09-12 13:38:49
178
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人