近红外光谱
文章平均质量分 74
一条大咸咸鱼
热爱科研,无法自拔
展开
-
光谱异常样本检测分析
介绍近红外光谱数据处理方法原创 2022-11-26 20:01:47 · 3774 阅读 · 5 评论 -
光谱特征选择---随机蛙跳变量选择RF
我们已经连续好几期在讲特征变量选择算法,这其中一个很重要的一个原因是:光谱数据的高维冗余性和目标值与少数解释变量之间的相关性,也就是特征解释问题。如何从实际测量的高维光谱数据中选择具有解释能力(特征变量)的变量是目前特征选择或者特征降维的主要研究内容,也是光谱分析建模的关键组成。本期分享的随机蛙跳(Random Frog, RF)主要参考李宏东老师于2012年发表在ACA的论文(题目见文末),区别于由Kevin Lanes和Mustafa Eusuff于2003年提出的随...原创 2022-05-29 19:11:26 · 6637 阅读 · 7 评论 -
光谱特征选择---非信息变量剔除UVE
作为光谱分析的经典算法之一,非信息变量剔除(Uninformative Variables Elimination, UVE)自1996年提出后一直被广泛应用于光谱分析领域,至今相关的研究论文都在使用或者对比UVE算法,因此有必要对UVE的原理、使用及绘图进行分享,作者的原文题目为 Elimination of Uninformative Variables for Multivariate Calibration,可在学术网站上下载查阅。1. UVE算法的原理...原创 2022-05-21 23:20:42 · 7867 阅读 · 28 评论 -
光谱特征选择---竞争自适应重加权采样CARS
多元校正模型是目前多组分光谱分析的主要分析方法,但是实际分析数据存在严重的共线性和冗余干扰问题,此外,如何去解释建模变量对实际分析过程具有重要意义。因此,无论从模型性能提升还是模型变量解释方面都有必要对分析数据进行变量选择。本周跟大家分享一篇经典论文:Hongdong Li, et al. Key wavelengths screening using competitive adaptive reweighted sampling method for multivariate calib...原创 2022-05-16 11:55:15 · 21691 阅读 · 40 评论 -
光谱特征选择---连续投影算法SPA
作为光谱分析的重要环节,如何从冗余、复杂的变量中选取特征变量直接决定了预测模型的性能,在实际特征选择过程中,通常从两方面考虑特征选择的合理性:一是对目标变量y的解释性,二是不同自变量x间的冗余性,前者是考虑变量自身或变量组合的预测性能,后者考虑变量间的冗余问题,如何在保证对模型性能的同时减少变量冗余对于提高模型精度、降低过拟合风险和提高模型泛化性十分重要。本周分享连续投影算法(successive projections algorithm,SPA),SPA算法2001年...原创 2022-05-16 11:27:56 · 21591 阅读 · 27 评论 -
光谱预处理方法综述及分析策略选择
化学计量学方法及计算机技术的快速发展促进了以近红外光谱分析为代表的无损检测技术的广泛应用,建立准确的分析预测模型是近红外分析的核心工作。其中,感兴趣信息的提取是数据分析和模型解释的基础,也直接决定了模型的泛化性和稳定性。但实际分析过程获取的光谱数据在包含有效信息的同时,还包含大量的冗余、干扰信息,作为数据“清洗”的关键一步,数据预处理对光谱分析过程至关重要,不同预处理方法及其组合对数据分析影响不同,如何根据预处理方法的适用性选择合适的方法及其组合是近红外分析的首要任务。预处理主要用于调整每个测量变量的可原创 2022-05-03 09:01:30 · 8583 阅读 · 8 评论 -
第二章---分子振动与近红外光谱
近红外光谱的化学信息是分析过程样品分子振动量子状态跃迁信息在光谱的加载。1. 分子中原子之间的振动与振动光谱 分子中原子之间的振动简称分子的振动。我们知道,分子中原子依靠化学键进行互相结合,这种原子间的键合存在一个能量等级最低的平衡位置,想象为弹簧模型,当远离平衡位置时因化学键力的作用,能量增高;而当原子互相靠近时,因原子之间的互相排斥作用,能量也快速增加,故此分子中原子间可在平衡位置附近发生振动。图1 物体在弹簧作用下的位能变化 如图1所示,...原创 2021-11-26 21:55:48 · 3439 阅读 · 0 评论 -
第二章---近红外光谱分析的光谱组成1
化学计量学中涉及到的光谱强度通常是指样品的纯光谱数据,但实际分析过程中测量的光谱在包含样品光谱的同时,通常还包含样品的测量参数引起的背景光谱,即所得光谱通常由纯光谱信息叠加背景光谱组成。这两类信息的加载过程、分析原理和提取方法存在本质差异,也分别决定了模型的准确性和稳健性,下面将分别从不同方面进行介绍。 1.1 近红外光谱样本信息的加载 (1) 样品光谱信息加载的物理过程 近红外光谱分析的本质是通过分析物质和光谱信息之间的关联信息建立分析...原创 2021-10-05 19:30:04 · 1305 阅读 · 0 评论 -
第一章---近红外光谱概述2(近红外光谱分析难点及解决思路)
2.1 近红外光谱数据难点概述1中简单介绍了近红外光谱分析的原理和实测数据的复杂、多元、重叠等特性,这些特性导致所得光谱数据无法直接建立关联分析模型。以农业检测为例,某样品所测光谱数据如图1所示,(图片来源:严衍禄等.近红外光谱分析的原理、技术及应用,涉及到纯样分析,暂时无法获取数据),图1(1)中1和3所示为同一样品在不同扫描时间的光谱,1和2为不同样品在同一时间的扫描光谱,图1(2)中5表示实测谷物的近红外光谱,其主要组成成分包含水分、脂肪、蛋白质和淀粉等,1-4分别表...原创 2021-09-27 15:09:13 · 7962 阅读 · 4 评论 -
第一章---近红外光谱分析概述1
1.1 近红外光谱分析的技术特征 按照分析介质或手段的不同,光谱分析属于分析科学中的物理及物理化学分析,按照其采用分析光谱的谱区差异,可分为近红外、中红外和远红外等,其共性特征是:光谱分析的基础信息都是根据分子等微观粒子运动的特点,通过分析分子振动和光源频率的“共振现象”实现分析对象的信息加载,按照光谱的产生过程,可具体分为吸收光谱和发射光谱。考虑到不同物质吸收/发射光谱的差异以及谱区的针对性,近红外光谱分析通常指的是吸收光谱分析。 近红外分析的信息流程:...原创 2021-09-26 20:39:28 · 4771 阅读 · 0 评论 -
近红外光谱分析的原理、技术及其分析方法
硕士期间对近红外光谱分析技术的基本原理和分析过程进行了简单了解,后期学习发现自己对近红外光谱的原理、技术和主要分析方法了解不够深入,很多分析方法和技巧并未掌握。此外,对于部分分析方法的编程和优化过程不熟悉,上述问题的存在导致后期研究存在较大困难,为弥补自己的心愿,以及提高个人对近红外分析的认识,从今天开始,我将对近红外分析的基本原理、分析技术、主要优化算法、自己实践过程遇到的问题及分析思路进行介绍。欢迎大家一起交流,共同进步。 写作的主要内容包括以下几大板块: ...原创 2021-09-26 11:33:25 · 6648 阅读 · 4 评论 -
写作内容征求意见
最近在重新看近红外光谱分析的基本原理、分析方法和相关的研究进展,产生了对近红外分析技术(分析原理,分析方法、注意事项以及关键代码实现等)进行全面表述的想法,但是工作量很大,想咨询广大阅读者的建议,是否有必要写此类博客(预估周期在半年左右)...原创 2021-09-24 09:55:14 · 292 阅读 · 7 评论 -
博基计划(4)---近红外光谱过程分析中基线漂移的主要来源
近红外光谱分析技术作为一种标准检测方法已经应用于生物制药、石油化工等过程,但是分析过程中存在的基线漂移问题使得检测到的光谱数据存在测量误差和特征变量弱化等问题,为减少误差对模型精度的影响,提高实际不同官能团的特征信息表征能力,有必要分析造成测量过程基线漂移的主要来源:(1)样品中气泡散射光;当样品中含有气泡时,进入紫外区越远,散射的影响越大,如果太多光被散射,则导致无足够的光线进入样品,因此无法实现可靠测量。具体改善措施为:在比色皿或样品池的探头光照范围内尽量减少气泡,例如直接采用惰性气体进行液体吹扫预原创 2021-03-31 17:01:01 · 2644 阅读 · 0 评论 -
近红外光谱、拉曼光谱及高光谱的区别
近红外光谱是介于可见光和中红外光之前的电磁波,波长范围为780-2526 nm,其主要来源是对含氢基团X-H(X=C、N、O)振动的倍频和合频吸收,其反射信息包含了大多数类型有机化合物的组成成分和分子结构信息,目前主要应用于有机物分析,也有部分研究开展无机物间接分析,但是如何确定间接物质存在难度。高光谱成像技术是将成像技术和光谱检测技术相结合,在对分析目标的空间特征成像的同时,通过色散对每个空间像元形成几十乃至几百个窄波段以进行连续的光谱覆盖。图像信息可以反映样本的大小、形状、缺陷等外部品质特征,而光谱原创 2020-10-07 10:34:01 · 11642 阅读 · 0 评论 -
近红外光谱基线校正---arPLS
本期主要介绍由韩国Sung-June Baek教授于2015年提出的一种基线校正方法:Baseline correction using asymmetrically reweighted penalized least squares smoothing (非对称加权惩罚最小二乘平滑基线校正),文章由高质量期刊《Analyst》出版。 该文章首先简要介绍基线校正分析...原创 2020-03-31 21:17:12 · 6424 阅读 · 1 评论 -
MATLAB读取结构体中的数据
近期做做一个数据分析的文章,需要使用经典的近红外光谱数据集 corn NIR(网址:http://eigenvector.com/), 但是下载的数据是包含在一个数据集中,无法直接使用,需要进行数据读取,此时有以下学习收获: 1.在读取包含在结构体中的近红外光谱数据之前,需要知道所需数据在结构体内的名称,使用 fieldnames() 函数查看具体名称,以上述数据...原创 2020-01-11 16:05:30 · 66026 阅读 · 23 评论 -
近红外光谱特征选择、特征提取区别及稀疏表示
近红外光谱分析技术已经在很多领域得到了广泛应用,但是实际分析过程中所采集的数据都是高维、复杂的数据信号,如何从复杂的信号中选择出建模所需要的基本数据就是所谓的近红外光谱数据特征筛选或特征选择,特征提取和特征选择从数学角度来讲是两种不同的方法。 特征选择是通过选择特征变量相对集中的区间进行组合处理,然后对所筛选的变量进行下一步操作,这种方法简单、易操作,对于含有稀疏变量...原创 2019-11-29 10:12:40 · 15390 阅读 · 118 评论