深度学习(3)——离散回归,最小二乘法

监督学习中,如果预测的变量是离散的,我们称其为分类(svm等,得出的是类,并不是连续的数,所以是离散的),如果预测的变量是连续的,我们称其为回归。在回归分析中,
对于一元线性回归模型, 假设从总体中获取了n组观察值(X1,Y1),(X2,Y2), …,(Xn,Yn)。对于平面中的这n个点,可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看,这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小。有以下三个标准可以选择: [4]  
(1)用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。 (数据在线的左右符号相反)
(2)用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
(3)最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外,得到的估计量还具有优良特性。这种方法对异常值非常敏感。 (如果有1点差得特别多,数值将十分巨大) 
最常用的是普通最小二乘法( Ordinary Least Square,OLS):所选择的回归模型应该使所有观察值的残差平方和达到最小。

在图中就是让每个红线的平方的和最小,即最小二乘法。
 
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
根据提供的引用内容,没有直接提供matlab离散鲁棒最小二乘法自适应鲁棒控制代码。但是,引用提到了设计线性鲁棒自适应解耦控制律和神经网络非线性自适应解耦控制律,并通过它们之间的切换对系统进行控制。因此,可以考虑使用matlab实现这两种控制律,并进行切换控制。同时,引用提供了绘制图像的代码,可以用于绘制控制效果的图像。 下面是一个简单的matlab代码示例,用于实现线性鲁棒自适应解耦控制律和神经网络非线性自适应解耦控制律,并进行切换控制: ```matlab % 线性鲁棒自适应解耦控制律 K1 = 0.1; % 控制增益 A = eye(2); % 系统矩阵 B = [1; 0.5]; % 输入矩阵 C = [1 0; 0 1]; % 输出矩阵 D = 0; % 直接通道矩阵 L = [0.5 0; 0 0.5]; % 鲁棒矩阵 x1 = [0; 0]; % 初始状态 u1 = 0; % 初始输入 y1 = [0; 0]; % 初始输出 r1 = [1; 1]; % 参考输入 for k = 1:100 e1 = r1 - y1; % 跟踪误差 u1 = -K1 * L * y1 + K1 * L * r1; % 控制输入 x1 = A * x1 + B * u1; % 状态更新 y1 = C * x1 + D * u1; % 输出更新 end % 神经网络非线性自适应解耦控制律 K2 = 0.1; % 控制增益 net = feedforwardnet(10); % 神经网络 net = train(net, x1, y1); % 神经网络训练 x2 = [0; 0]; % 初始状态 u2 = 0; % 初始输入 y2 = [0; 0]; % 初始输出 r2 = [1; 1]; % 参考输入 for k = 1:100 e2 = r2 - y2; % 跟踪误差 u2 = -K2 * net(x2) + K2 * net(r2); % 控制输入 x2 = A * x2 + B * u2; % 状态更新 y2 = C * x2 + D * u2; % 输出更新 end % 切换控制 for k = 1:100 if mod(k, 2) == 1 % 奇数步使用线性鲁棒自适应解耦控制律 e = r1 - y1; % 跟踪误差 u = -K1 * L * y1 + K1 * L * r1; % 控制输入 x1 = A * x1 + B * u; % 状态更新 y1 = C * x1 + D * u; % 输出更新 else % 偶数步使用神经网络非线性自适应解耦控制律 e = r2 - y2; % 跟踪误差 u = -K2 * net(x2) + K2 * net(r2); % 控制输入 x2 = A * x2 + B * u; % 状态更新 y2 = C * x2 + D * u; % 输出更新 end end ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值