【ZJU-Machine Learning】优化理论

最新推荐文章于 2021-02-22 02:51:15 发布
最新推荐文章于 2021-02-22 02:51:15 发布
阅读量157 收藏
点赞数
分类专栏： 【ZJU】机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45654306/article/details/113092499
版权

参考书籍

在这里插入图片描述

原问题（Prime Problem）

在这里插入图片描述

对偶问题（Dual Problem）

在这里插入图片描述

限制α、β去遍历所有的w，求求其最小值θ，然后再使θ最大。

原问题与对偶问题的关系

定理*

在这里插入图片描述
证明：
在这里插入图片描述

G的定义

在这里插入图片描述
对于某些特定的优化问题，可以证明G=0

强对偶定理

在这里插入图片描述
其证明可见参考书籍（非常复杂，我们可以take it for granted）

KKT条件

根据强对偶定理和定理* 的证明，我们推出KKT条件
在这里插入图片描述

SuperSources
关注
专栏目录
【OR】约束优化：对偶理论(2)
0x00
08-16 409
对偶理论，弱对偶定理，强对偶定理
动态规划简介
hust_sheng的专栏
09-06 2534
动态规划 动态规划 是一个多阶段决策过程： 关于动态规划的几个概念 决策：在一个阶段的状态给定以后，从该状态演变到下一阶段某个状态的一种选择称为决策。也就是在两个阶段间选择发展途径的行为。 决策变量：描述决策的变量称决策变量，用一个数或一组数表示。不同的决策对应着不同的数值。 决策序列：事件的发展过程之中需要经历n个阶段，需要做n次“决策”，这些“决策”就构成了事件整个发展过程的一个决策序列
【ZJU-Machine Learning】强化学习
SuperSources的博客
02-01 602
强化学习与监督学习的区别： （1）训练数据中没有标签，只有奖励函数（Reward Function）。 （2）训练数据不是现成给定，而是由行为（Action）获得。 （3）现在的行为（Action）不仅影响后续训练数据的获得，也影响奖励函数（Reward Function）的取值。 （4）训练的目的是构建一个“状态->行为”的函数，其中状态（State）描述了目前内部和外部的环境，在此情况下，要使一个智能体（Agent）在某个特定的状态下，通过这个函数，决定此时应该采取的行为。希望采取这些行为后，最终
【ZJU-Machine Learning】AlphaGo介绍
SuperSources的博客
02-01 504
AlphaGo原理 三个深度策略网络 (Policy Networks)，一个深度估值网络 (Value Network) 深度策略网络 Supervised Learning Policy Network 优化分析 ： 棋盘特征 ： 落子颜色 （Stone Color） 轮次 （Turn Since）： 气（Liberty）： 打吃数量： 征子（Ladder）： 合法性（Sensibility）： 深度策略网络Reinforcement Learning Policy Network
【ZJU-Machine Learning】多层神经网络
SuperSources的博客
01-26 893
寒冬 人们认识到，感知器算法只有在线性问题中可用，而现实生活中，大部分问题是非线性问题。神经网络的发展受到了搁置。 非线性问题的求解 人们认识到，非线性问题，可用非线性函数解决。因此在原有神经元模型上加入了激活函数（一个非线性函数） 若其不是一个非线性的函数，将会有以下结果 与单一的神经元没有任何区别 在早期的发展中，人们证明了阶跃函数可以解决所有的非线性问题。 定理：三层神经网络可以模拟所有的决策面 两层神经网络模拟三角形问题 多个神经元之间是“与”的关系。 两层神经网络模拟四边形问题 对于
【ZJU-Machine Learning】没有免费午餐定理
SuperSources的博客
01-23 187
No Free Lunch Theorem定理概述 如果我们不对特征空间有先验假设，则所有算法的平均表现是一样的。任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，表现好与表现不好的情况一样多。 1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同； 2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同； 3）对所有的先验知识求平均，得到的所有学习算法的“非训练集误差”的期望值也相同； 4）对任意固定
【ZJU-Machine Learning】概率分类法
SuperSources的博客
02-21 606
基本问题 我们关注的重点是先验概率。 在训练过程中，训练集的数据和测试集的数据样本分布要大概一致，以保证先验概率大致相同。 概率密度估计问题 朴素贝叶斯分类问题
【ZJU-Machine Learning】SVM的应用
SuperSources的博客
01-25 245
SVM常用核函数总结 对于其中的参数，主要靠试。 国际象棋的兵王问题 数据集 UCI Machine Learning Repository http://archive.ics.uci.edu/ml/datasets.php 训练过程 1、总样本数28056， 其中正样本2796, 负样本25260。 2、随机取5000个样本训练，其余测试。 3、样本归一化，在训练样本上，求出每个维度的均值和方差，在训练和测试样本上同时归一化。
【ZJU-Machine Learning】简单语音识别
SuperSources的博客
02-22 357
解决方法： 主要思路 难点：不知道某一动作时许了多长时间，因此需要引入时间参数
Machine-Learning:学习和编程机器学习
05-10
Machine-Learning 介绍 这里是机器学习以及数据分析的相关内容 内容
浙大OS-390学习教程
11-21
【浙大OS-390学习教程】 "浙大OS-390学习教程"是...通过深入学习，你可以掌握如何在z/OS环境下编写和调试程序，管理资源，以及进行系统维护和优化。对于有意从事大型主机相关工作的人员来说，这是一个宝贵的教育资源。
csmath-2020:该数学课程的授课时间为博士学位。计算机科学及相关领域的学生@ZJU
03-22
CSMATH-2020 关于本课程 该数学课程是为第一年的博士课程而设计的。计算机科学及相关领域的学生。本课程重点介绍人们当前所需的方法，...偏微分方程单元，着重于介绍水平集方法，椭圆方程和泊松方程的替代理论以及相
机器学习（Machine Learning）入门科普
vast_w
05-18 4766
=======================国外==================== Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)     在我的眼里，M Jordan无疑是武林中的泰山北斗。他师出MIT，现在在berkeley坐镇一方  ，在附近的两所名校（加stanford）中
【ZJU-Machine Learning】人工神经网络的参数设置
SuperSources的博客
01-28 1445
训练建议 （1）一般情况下，在训练集上的目标函数的平均值（cost）会随着训练的深入而不断减小，如果这个指标有增大情况，停下来。有两种情况：第一是采用的模型不够复杂，以致于不能在训练集上完全拟合；第二是已经训练很好了。 （2）分出一些验证集（Validation Set）,训练的本质目标是在验证集上获取最大的识别率。因此训练一段时间后，必须在验证集上测试识别率，保存使验证集上识别率最大的模型参数，作为最后结果。 （3）注意调整学习率（Learning Rate）,如果刚训练几步cost就增加，一般来说是学习
【ZJU-Machine Learning】特征选择——自适应提升算法Adaboost
SuperSources的博客
02-02 1267
启发式方法 递增法： 先从x中选一个特征，构造分类器，计算准确率，然后再从x的剩余特征中选择一个特征，计算准确率，一直加，直到准确率开始下降。 递减法： 同上，只不过一开始是所有的特征，然后一个一个减，直到准确率下降。 基因算法 模拟退火算法 事实上，神经网络可以代替以上方法，随着不断训练网络，对于特征不明显的w值将不断减小。 Adaboost 主要思想：找到尽可能少的特征（可能仅有一个），最大限度的将数据集分开，构成弱分类器。对这些弱分类器分错的样本进行加强训练（采样多次），分对的则相应减少样本，对这个样
【ZJU-Machine Learning】使用AdaBoost进行目标检测
SuperSources的博客
02-19 666
目标检测与分割的三类问题 语义分割（Semantic Segmentation） 目标定位与识别（Classification and Localization） 目标检测（Object Detection）
【ZJU-Machine Learning】神经元的数学模型和感知器算法
SuperSources的博客
01-26 571
神经元的数学模型 1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts基于神经元的生理特征，建立了单个神经元的数学模型（MP模型）。 感知机算法 SVM与感知机的不同 SVM是一种全局考虑的算法，它是将所有数据全部输入后，对数据进行全部分析、调整 感知机是一种对局部进行优化的算法，他是每输入一个数据后，对其结果进行评估，从而对模型进行改进，而不考虑之前和之后的结果，仅考虑最后一条的数据。 感知机合理性的推导 感知器算法的收敛定理 证明： ...
【ZJU-Machine Learning】自编码器
SuperSources的博客
01-29 558
提出 2006年是深度学习的起始年，Hinton在SCIENCE上发文，提出一种叫做自动编码机（Auto-encoder）的方法，部分解决了神经网络参数初始化的问题。 概念 参考：https://www.cnblogs.com/royhoo/p/Autoencoders.html 自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码（codings），其维度一般远小于输入数据，使得自编码器可用于降维（特征提取器）。更重要的是，自编码器可作为强大的特征检测器（
zju-i型机械臂点到点轨迹规划python
最新发布
05-01
ZJU-I型机械臂是一种由浙江大学机器人研究所开发的六自由度机械臂，具有高速、精度和可靠性等特点。机械臂的运动控制是机器人中的重要研究领域之一，其中点到点轨迹规划是机器人在运动过程中最基础和常用的一种方式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值