利用IDL进行SVM回归（保姆级教程）

最新推荐文章于 2024-05-22 14:27:39 发布
最新推荐文章于 2024-05-22 14:27:39 发布
阅读量856 收藏 12
点赞数 1
分类专栏： IDL 遥感 文章标签： 支持向量机 回归 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44308329/article/details/125564318
版权

IDL 8.7开始增加了机器学习模块，可以利用IDL简单快捷的利用机器学习实现分类和回归。在此利用SVM对PM2.5进行回归预测。由于CSDN中关于IDL的代码较少，将自己边学边用的东西放上来交流，力求代码详尽小白能看懂

1. 数据加载

数据采用的是如下图所示，使用后面六列产量来回归求解PM2.5，由于AOD具有异常值（-9999），需要利用循环排除掉该部分数据。
在这里插入图片描述

  file = read_csv('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\data.csv')

  result = where(file.field05 ne -9999, count);返回了不是-9999的索引，一共count个
  
  ;将六个变量读进来，专置成一个6列的数组  
  x = Transpose([[file.field05], [file.field06], [file.field07],[file.field08],[file.field09],[file.field10]])
  y = file.field04;读取训练集中的回归值

;新建数组，将A0D ne -9999的有效数据行存储  
  data=Fltarr(6,count)
  scores=Fltarr(count)
  
  FOR i=0,count-1,1 DO BEGIN
    
    num=result[i]
    data[*,i]=x[*,num]
    scores[i]=y[num]
    
  ENDFOR

2. 数据归一化
使用SVM要对数据进行归一化，数据参数间量纲差异大的时候会严重运行效率，并且要保留归一化模型以用作测试集和后期预测。

 ;归一化
 Normalizer1 = IDLmlVarianceNormalizer(data)
 Normalizer1.Normalize,data

3. 数据分割
打乱数据，并随机选取70%数据为train集，30%数据为test集。

;选取70作为train集，30作为test集
  IDLmlShuffle,data,scores;打乱数据
  part=IDLmlPartition({train:70,test:30},data,scores)

4. 模型训练
利用train集构建模型。

  nAttributes=6
  Model = IDLmlSupportVectorMachineRegression(nAttributes,KERNEL=IDLmlSVMRadialKernel)
  loss = Model.Train(part.train.data, SCORES=part.train.scores)
  
  ;===================================================训练集结果验证=======================================

  train_results = Model.Evaluate(part.train.data,SCORES=part.train.scores,LOSS=loss)
  train_results=reform(train_results)

  train_scores=part.train.scores

5. 测试模型精度

  MAE = mean(abs(train_scores - train_results))
  RMSE = sqrt(mean((train_scores-train_results)^2))

  BIAS=MEAN(train_results-train_scores)
  R_fenzi=(TOTAL( (train_results-mean(train_results)) * (train_scores-mean(train_scores)) ))^2
  R_fenmu=(TOTAL((train_results-mean(train_results))^2))*(total((train_scores-mean(train_scores))^2))
  R=sqrt(R_fenzi/R_fenmu)


  PRINT,'RMSE='+STRTRIM(STRING(RMSE),2)
  PRINT,'MAE='+STRTRIM(STRING(MAE),2)
  PRINT,'BIAS='+STRTRIM(STRING(BIAS),2)
  PRINT,'R='+STRTRIM(STRING(R),2)
  PRINT,'LOSS='+STRTRIM(STRING(loss),2)

6. 用test集验证模型
与train的相似，但是将上述用train训练的模型应用在test上

  test_results = Model.Evaluate(part.test.data,SCORES=part.test.scores,LOSS=loss)
  test_results=reform(test_results)
  
  test_scores=part.test.scores  
  
  MAE = mean(abs(test_scores - test_results))
  RMSE = sqrt(mean((test_scores-test_results)^2))

  BIAS=MEAN(test_results-test_scores)
  R_fenzi=(TOTAL( (test_results-mean(test_results)) * (test_scores-mean(test_scores)) ))^2
  R_fenmu=(TOTAL((test_results-mean(test_results))^2))*(total((test_scores-mean(test_scores))^2))
  R=sqrt(R_fenzi/R_fenmu)
  

  PRINT,'RMSE='+STRTRIM(STRING(RMSE),2)
  PRINT,'MAE='+STRTRIM(STRING(MAE),2)
  PRINT,'BIAS='+STRTRIM(STRING(BIAS),2)
  PRINT,'R='+STRTRIM(STRING(R),2)
  PRINT,'LOSS='+STRTRIM(STRING(loss),2)

7. 预测
到这里模型的构建就完成了，开始利用上述构建的模型进行预测。

;导入要预测的tif数据
  AOD=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\AOD.tif')
  RH=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\RH.tif') 
  WS=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\WS.tif') 
  TMP=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\TMP.tif')  
  PBL=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\PBL.tif')
  PS=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\PS.tif',geotiff=geotiff) 
  
  
  sizes=(AOD.dim)[0]*(AOD.dim)[1]
  day_188_data=Transpose([[Reform(AOD,sizes)],[Reform(RH,sizes)],[Reform(WS,sizes)],[Reform(TMP,sizes)],[Reform(PBL,sizes)],[Reform(PS,sizes)]]);
  Normalizer1.Normalize,day_188_data
  day_188_data_results = Model.Evaluate(day_188_data) 
  
  MASK=(AOD EQ -9999)*0+(AOD NE -9999)*1
  SVM_result=reform(day_188_data_results,(AOD.dim)[0],(AOD.dim)[1])
  SVM_result=SVM_result*MASK/MASK
  
  
  outfile='C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\FFNN_PM2.5_regression.tif'
  WRITE_TIFF,outfile,SVM_result,/FLOAT,/SIGNED,GEOTIFF=GEOTIFF,COMPRESSION=1

8. 完整代码

PRO MachineLearning_regression_course

  COMPILE_OPT IDL2
  ENVI,/restore_base_save_files
  ENVI_BATCH_INIT,NO_STATUS_WINDOW=1
  
  StartTime=SYSTIME(1)
  
  ;====================训练数据集==============================
  file = read_csv('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\data.csv')

  result = where(file.field05 ne -9999, count);返回了不是-9999的索引，一共count个
  
  ;将六个变量读进来，转置成一个6列的数组  
  x = Transpose([[file.field05], [file.field06], [file.field07],[file.field08],[file.field09],[file.field10]])
  y = file.field04;读取训练集中的回归值

;新建数组，将A0D ne -9999的有效数据行存储  
  data=Fltarr(6,count)
  scores=Fltarr(count)
  
  FOR i=0,count-1,1 DO BEGIN
    
    num=result[i]
    data[*,i]=x[*,num]
    scores[i]=y[num]
    
  ENDFOR
  ;归一化
  Normalizer1 = IDLmlVarianceNormalizer(data)
  Normalizer1.Normalize,data
  
;选取70作为训练集，30作为验证集
  IDLmlShuffle,data,scores;打乱数据
  part=IDLmlPartition({train:70,test:30},data,scores)

  nAttributes=6
  Model = IDLmlSupportVectorMachineRegression(nAttributes,KERNEL=IDLmlSVMRadialKernel)
  loss = Model.Train(part.train.data, SCORES=part.train.scores)
  
  ;==========================训练集结果验证============

  train_results = Model.Evaluate(part.train.data,SCORES=part.train.scores)

  train_scores=part.train.scores

  MAE = mean(abs(train_scores - train_results))
  RMSE = sqrt(mean((train_scores-train_results)^2))

  BIAS=MEAN(train_results-train_scores)
  R_fenzi=(TOTAL( (train_results-mean(train_results)) * (train_scores-mean(train_scores)) ))^2
  R_fenmu=(TOTAL((train_results-mean(train_results))^2))*(total((train_scores-mean(train_scores))^2))
  R=sqrt(R_fenzi/R_fenmu)

  PRINT,'RMSE='+STRTRIM(STRING(RMSE),2)
  PRINT,'MAE='+STRTRIM(STRING(MAE),2)
  PRINT,'BIAS='+STRTRIM(STRING(BIAS),2)
  PRINT,'R='+STRTRIM(STRING(R),2)

  file_svm_link = 'C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\train_results.txt'
  OPENW, lun, file_svm_link,/get_lun
  PRINTF, lun, train_results
  FREE_LUN, lun

  file_svm_link = 'C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\train_scores.txt'
  OPENW, lun, file_svm_link,/get_lun
  PRINTF, lun, train_scores
  FREE_LUN, lun

  ;=======================================================================
  
;===========================测试集结果验证=================================  
  
  test_results = Model.Evaluate(part.test.data,SCORES=part.test.scores)
  
  test_scores=part.test.scores  
  
  MAE = mean(abs(test_scores - test_results))
  RMSE = sqrt(mean((test_scores-test_results)^2))

  BIAS=MEAN(test_results-test_scores)
  R_fenzi=(TOTAL( (test_results-mean(test_results)) * (test_scores-mean(test_scores)) ))^2
  R_fenmu=(TOTAL((test_results-mean(test_results))^2))*(total((test_scores-mean(test_scores))^2))
  R=sqrt(R_fenzi/R_fenmu)
  

  PRINT,'RMSE='+STRTRIM(STRING(RMSE),2)
  PRINT,'MAE='+STRTRIM(STRING(MAE),2)
  PRINT,'BIAS='+STRTRIM(STRING(BIAS),2)
  PRINT,'R='+STRTRIM(STRING(R),2)
  
  file_svm_link = 'C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\test_results.txt'
  OPENW, lun, file_svm_link,/get_lun
  PRINTF, lun, test_results
  FREE_LUN, lun

  file_svm_link = 'C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\test_scores.txt'
  OPENW, lun, file_svm_link,/get_lun
  PRINTF, lun, test_scores
  FREE_LUN, lun
   ;
;==========================导入要预测的tif数据=============================
  AOD=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\AOD.tif')
  RH=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\RH.tif') 
  WS=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\WS.tif') 
  TMP=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\TMP.tif')  
  PBL=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\PBL.tif')
  PS=read_tiff('C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\PS.tif',geotiff=geotiff) 
  
  
  sizes=(AOD.dim)[0]*(AOD.dim)[1]
  day_188_data=Transpose([[Reform(AOD,sizes)],[Reform(RH,sizes)],[Reform(WS,sizes)],[Reform(TMP,sizes)],[Reform(PBL,sizes)],[Reform(PS,sizes)]]);
  Normalizer1.Normalize,day_188_data
  day_188_data_results = Model.Evaluate(day_188_data) 
  
  MASK=(AOD EQ -9999)*0+(AOD NE -9999)*1
  SVM_result=reform(day_188_data_results,(AOD.dim)[0],(AOD.dim)[1])
  SVM_result=SVM_result*MASK/MASK
  
  
  outfile='C:\Users\user\Desktop\机器学习\ex03\ex03\reg_data\188day\PM2.5_regression.tif'
  WRITE_TIFF,outfile,SVM_result,/FLOAT,/SIGNED,GEOTIFF=GEOTIFF,COMPRESSION=1
  
  
  EndTime=SYSTIME(/seconds)
  PRINT, '统计时间：', (EndTime-StartTime),'s'

  print,'finish'
END
Rosers™
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Envi IDL中多元线性回归计算方法
「 刘一哥与GIS的故事」
03-30 6349
IDL中提供了丰富的数学运算函数。其中部分函数同时提供了源码文件。例如今天介绍的Regress函数，可以在IDL控制台运行“.e regress.pro”查看或编辑源码。 下面介绍如何使用Regress函数进行多元线性回归计算。其实IDL帮助里边已经提供了非常详细的解释和示例。为了大家学习起来更加方便，现以如下公式为例进行介绍。 已知： 0.329000=a0+a1*0.67
IDL的几个常用代码
07-22
IDL代码，这里有几个常用的IDL代码，大家可以下下来看看，我觉得挺不错的
SVM分类器（IDL）
05-14
这是一个实现SVM分类的代码，基于Linux操作系统的
svm解决回归问题
最新发布
ckyll的博客
05-22 415
print("最优参数：", random_search.best_params_)print("最优评分：", -random_search.best_score_)print("训练时间：", training_time, "秒")print("决定系数（R^2）：", r_squared)print("均方根误差（RMSE）：", rmse)print("平均绝对误差（MAE）：", mae)plt.title("实际值 vs. 预测值")print("均方误差（MSE）：", mse)
SVM如何用于回归分析
热门推荐
08-10 3万+
转载自：http://blog.sina.com.cn/s/blog_62970c250102xfzj.html 支持向量机（SVM）除了可以用于分类问题，也可以用于回归问题。 1. SVM回归模型的损失函数度量 我们知道SVM分类模型的目标函数是，同时要让训练集中的各个样本点尽量远离自己类别一侧的支持向量，即约束条件是。如果加上一个松弛变量，则目标函数变成，对应的约束条件变成。 对于回归...
IDL 多元线性回归求解
04-01
求解多元线性回归方程解的IDL代码，其中包括矩阵的高斯消元的步骤，txt文件保存的是导入的矩阵数据，矩阵的行列数根据数据确定
ENVI+IDL 实现SVM分类的批处理
花藻の博客
02-13 5359
官网code链接：https://www.harrisgeospatial.com/docs/programmingguideclassification_codeexamplesvmapiobjects.html 1.代码中所需要的数据： 链接: https://pan.baidu.com/s/18pCNLr_GVTxUro1Gj8ta3Q 提取码: wm8u 2.需要改绝对路径： file =...
IDL.rar_IDl_doc_idl入门教程
09-14
对学习IDL有很大的帮助，IDL入门教程一.doc,IDL入门教程二(上)(简单图形显示II).doc,IDL入门教程二(下)(简单图形显示I).doc,IDL入门教程三(上).doc,IDL入门教程三(下).doc,IDL入门教程四(图形显示技术).doc,IDL入门...
idl.rar_IDl_idl POLYFILL_idl教程
09-20
这个压缩包中的“idl培训教程与数据”可能是一个包含idl教程文档和相关示例数据的文件，可能包括了idl语法讲解、示例代码、练习项目等，帮助学习者深入理解和掌握IDL语言。学习这些内容，你可以了解如何定义接口、...
利用IDL读取hdf5
04-11
标题"利用IDL读取hdf5"涉及的关键技术是使用IDL语言来操作HDF5文件。IDL提供了丰富的库函数，使得用户能够方便地与HDF5文件交互。以下是利用IDL读取HDF5文件的核心知识点： 1. **H5D_* 函数**：这部分函数主要用于...
IDL入门教程（带实习操作文件）
03-13
本教程是在多年来教科学家和工程师使用和操作IDL（Interactive Data Language）的基础上创作的，而且教学的绝大部分时间是为IDL的开发者Research Systems公司工作。当笔者在回答一个又一个问题之后，笔者意识到多数...
IDL入门指导 内容详尽全面
12-08
IDL（Interactive Data Language）交互式数据语言是进行二维及多维数据可视化表现、分析及应用开发的理想软件工具。作为面向矩阵、语法简单的第四代可视化语言,IDL致力于科学数据的可视化和分析，是跨平台应用开发的最佳选择。
IDL入门教程
08-31
这两部分教程详细介绍了如何在IDL环境中进行图像数据的处理。包括但不限于读取图像文件、显示图像、图像增强、滤波和变换等基本操作。例如，你将学习如何使用`read_image`函数加载图像，`display`函数显示图像，以及...
【CNN-SVM回归预测】基于麻雀算法优化卷积神经网络结合支持向量机实现SSA-CNN-SVM实现数据回归预测附matlab代码
m0_60703264的博客
12-29 1142
CNN-SVM回归预测是一种结合了卷积神经网络和支持向量机的数据回归预测方法。最近，研究人员提出了一种基于麻雀算法优化的SSA-CNN-SVM方法，该方法在数据回归预测方面表现出色。本文将介绍CNN-SVM回归预测的基本概念，以及SSA-CNN-SVM方法的原理和优势。首先，让我们来了解一下CNN-SVM回归预测的基本原理。卷积神经网络（CNN）是一种深度学习模型，它通过多层卷积操作和池化操作来提取数据特征，并通过全连接层进行分类或回归预测。
matlab一元线性回归分析_【ENVI】时间序列趋势分析（一元线性回归分析）
weixin_39710991的博客
12-04 4243
课程作业中需要做一个多年NDVI趋势分析，以下内容仅提供简单的操作指导及大致思路流程。方便我以后再次使用时回忆。大神看到请回避，有错误也可以指出。理论知识：一元线性回归方程反映一个因变量与一个自变量之间的线性关系，当直线方程y=ax+b的a和b确定时，即为一元回归线性方程。经过相关分析后，在直角坐标系中将大量数据绘制成散点图，这些点不在一条直线上，但可以从中找到一条合适的直线，使各散点到...
SVM模型应用（三）通过数据归一化改善SVM模型的预测效果
elite666的专栏
04-08 7188
import numpy as np from sklearn import svm from sklearn.linear_model import LogisticRegression my_matrix=np.loadtxt("E:\\pima-indians-diabetes.txt",delimiter=",",skiprows=0) lenth_x=len(my_matrix[0...
machine learning资料总结与心得
code_caq的博客
03-13 438
待更新…… 博客、网址： UFIDL： http://ufldl.stanford.edu/wiki/index.php/UFLDL教程 七月在线创始人的博客： http://blog.csdn.net/v_july_v …… 书： 《PRML》 周志华西瓜书 李航《统计学习方法》 机器学习课程视频资料： 斯坦福大学Andrew Ng《机器学习课程》 http://ope...
SVM(支持向量机)
coffee_fighter的博客
06-05 236
分类 监督学习、分类问题 算法原理 当样本线性可分的时候，寻找能切分样本并且最大间距的一个直线、平面或者超平面。 当样本非线性可分的时候，通过核函数映射到高维空间种，让样本线性可分。 代码实现 样本线性可分的情况： from sklearn import svm x=[[2,0],[1,1],[2,3]]#样本特征 y=[0,0,1]#样本标签 clf = svm.SVC(kernel = "li...
利用idl对影像进行归一化处理
05-13
IDL（Interactive Data Language）可以用来进行影像处理，包括归一化处理。归一化可以将影像像素值限制在一定范围内，以便更好地进行后续处理。 以下是一个简单的IDL代码示例，用于对影像进行归一化处理： ```idl ; 打开图像文件 im = READ_IMAGE('image.tif') ; 获取图像的最大值和最小值 minval = MIN(im, /nan) maxval = MAX(im, /nan) ; 归一化图像像素值 im_norm = (im - minval) / (maxval - minval) ; 将归一化后的图像保存到文件 WRITE_TIFF, 'image_norm.tif', im_norm ``` 在这个示例中，首先使用 `READ_IMAGE` 函数读入需要处理的影像文件。然后使用 `MIN` 和 `MAX` 函数获取图像的最大值和最小值。接着，使用归一化公式将图像像素值进行归一化处理，并将处理结果保存到一个新的文件中，这里使用 `WRITE_TIFF` 函数将归一化后的图像保存为 TIFF 格式的文件。 需要注意的是，上述代码中使用了 `/nan` 选项，表示忽略图像中可能存在的 NaN 值。如果图像中没有 NaN 值，则可以省略此选项。此外，归一化处理还可以根据具体需求进行调整，例如可以将像素值限制在 0 到 1 之间，或者限制在一定的百分比范围内等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值