高维多元数据拟合回归如何进行？？？

一、高维多元数据非线性/线性拟合：

Matlab绘制三维空间网格散点图，使用cftool工具箱实现三维空间绘图。cftool工具箱是应用程序中的Curve Fitting应用。选择拟合曲线的类型，工具箱提供的拟合类型有：
1) Custom Equations：用户自定义的函数类型。根据需求自行设定，但是有时候要根据实际数据情况设定，不然会出现偏差太大的问题，特别是对于实验结果数据拟合时，要根据变量与因变量之间的实际潜在趋势关系进行合理设定。
2) Exponential：指数逼近，有2种类型， aexp(bx) 、aexp(bx) + cexp(dx)
3) Fourier：傅立叶逼近，有7种类型，基础型是 a0 + a1cos(xw) + b1sin(xw)
4) Gaussian：高斯逼近，有8种类型，基础型是 a1exp(-((x-b1)/c1)^2)
5) Interpolant：插值逼近，有4种类型，linear、nearest neighbor、cubic spline、shape-preserving
6) Polynomial：多项式逼近，有9种类型，linear 、quadratic 、cubic 等
7) Power： 幂逼近，有2种类型，ax^b 、ax^b + c
8) Rational： 有理数逼近，分子、分母共有的类型是linear 、quadratic 、cubic 等此外，分子还包括constant型
9) Smoothing Spline： 平滑逼近
10) Sum of Sin Functions： 正弦曲线逼近，有8种类型，基础型是 a1sin(b1*x + c1)
拟合结果页面例子显示如下：




衡量其拟合结果的性能指标里面R-square 与 Adjusted R-square一个意思，通常看第一个，反映线性化拟合的好坏。SSE 与 RMSE 是标准差和均方差，意义也一样，反映拟合误差的好坏。SSE比R2重要，主要看SSE，R square为方程的确定系数，0~1之间，越接近1，表明方程的变量对因变量的解释能力越强。
但是对于多变量（3或者3个以上），该工具箱拟合出现问题， 无法拟合出最佳效果。经过查阅一些论坛和CSDN资料,解决方式有以下几种：
1、 用python加载KNN、Numpy、pandas、statsmodels等安装包进行算法求取，在迭代时会由于初值选定问题，出现结果偏差过大情况，需要不断根据经验调整相关参数。
2、 用1stOpt数据优化分析综合软件，对多维数据进行分析，求取最佳拟合参数。

二、1stOpt高维数据拟合

1stOpt是七维高科有限公司 （7D-Soft High Technology Inc.） 独立开发，拥有完全自主知识产权的一套数学优化分析综合工具软件包。以非线性回归为例，目前在该领域最有名的软件工具包诸如 Matlab, OriginPro, SAS, SPSS,DataFit, GraphPad 等，均需用户提供适当的参数初始值以便计算能够收敛并找到最优解。而1stOpt凭借其超强的寻优，容错能力，在大多数情况下 （大于90%) ，从任一随机初始值开始，都能求得正确结果。

2.1 1stOpt应用最优化算法包括：

1) Levenberg-Marquardt 法 (LM) + 通 用 全 局 优 化 算 法 (Universal Global Optimization - UGO)
2) Quasi-Newton 法(BFGS) + 通用全局优化算法(Universal Global Optimization- UGO)
3) 遗传算法 (Genetic Algorithms - GA)
4) 模拟退火 (Simulated Annealing - SA)
5) 下山单体法 (Simplex Method- SM) + 通用全局优化算法(Universal Global Optimization-UGO)
6) 离子群法 (Particle Swarm Optimization - PSO)
7) 最大继承法 (Max Inherit Optimization - MIO)
8) 差分进化法 (Differential Evolution - DE)
9) 自组织群移法 (Self-Organizing Migrating Algorithms - SOMA)
10) 共扼梯度法 (Conjugate-Gradient Method - CGM) + 通用全局优化算法(Universal Global Optimization - UGO)
11) 包维尔法 (Powell Optimization PO) + 通用全局优化算法(Universal Global Optimization UGO)
12) 禁忌搜索法 (Tabu Search -TS)
13) 单纯线性规划法 (Simplex Linear Program)

2.2 优化参数设置：

程序使用不同算法和相关参数设定进行多元高维数据拟合分析结果如下：

数据拟合效果分析评判标准（根据标准选定最优拟合参数）：
均方差RMSE 与 残差平方和SSE 越接近零
相关系数R: 1正相关 -1负相关
方程确定系数R-square: 越接近1，表示方程的变量对因变量的解释能力越强
决定系数DC: 越接近1
F-Statistic: 越大越好
通过上述对性能指标和迭代参数及时间的比较，得到最优拟合效果对应的最佳参数及相关实验参数因变量预测数据

三、Matlab多元高维数据拟合举栗~：

数据表格如下：

MATLAB参考程序如下：

clc;
clear;
close all;
filename='C:\Users\blue\Desktop\表五.xlsx';
A=xlsread(filename);
x_1=A(1:27,1);
x_2=A(1:27,2);
x_3=A(1:27,3);
x_4=A(1:27,4);
x_5=A(1:27,5);
x_6=A(1:27,6);
%x_7=A(1:27,7);
%x_8=A(1:27,8);
%x_9=A(1:27,9);
%x_10=A(1:27,10);
%x_11=A(1:27,11);
%x_12=A(1:27,12);
y_1=A(1:27,7);
x=[1:1:27];
% % % % % % y_2=-1029 + 9.7*x_1 - 29*x_2 + 333*x_3 + 13.9*x_4 - 0.35*x_5 + 26.3