前言:很有意思,近红外光谱数据建模的逻辑实际上就是机器学习的逻辑,但很多2022年以前的近红外光谱数据建模的文章均不提到机器学习,但今年很多文章逐渐提到,且很多在食品领域的顶刊上。论难度,其实相比于机器学习在其他领域的研究,难度极低,但在食品领域却是创新——因为将机器学习用于食品的研究实在太少了。
1.机器学习可应用于近红外光谱数据建模的原因
如果学过机器学习,那么这个问题可以很自然地理解,近红外光谱数据建模的文章中的模型以及思想都是来自于机器学习的,近红外光谱数据建模问题是机器学习的研究内容的子集。机器学习的很多模型自然可以用于近红外光谱数据建模。
2.现状
很神奇,近红外光谱数据建模模型,比较单一,很多机器学习模型基本没用上。回归任务,多使用PLS;分类任务多使用,MLP,SVM,PLS-DA,很多其他的机器学习模型基本上没用到。回归任务例如:岭回归、LASSO回归均没有找到文献(我没找到),但这几个模型,在机器学习领域是很经典的。有兴趣的朋友可以试试。
下文是我2022年6月调研的结果,近两年的需要大家重新调研:
3、以山楂果实品种近红外无损检测为例
我使用了此前论文中不太常用的机器学习模型,实现了对4个山楂品种的分类,结果如下。其中LSTM、GRU是深度学习模型,也是机器学习模型的子集,但是用起来相对难一些,本文主要讲其他机器学习模型用于近红外无损检测的实现。
这些python均可以实现,SPSS、unscrambler可以实现部分模型,不能实现深度学习模型。
4、代码如下
我放到附件里了,我懒于详细解释了,应该是可以从头执行的。如果能读懂代码,用文心一言或者ChatGPT稍微改一下,复现难度应该不大。我提几点核心内容。
4.1 python调用的库
如果学过机器学习,肯定会知道python有一个机器学习的库,具体怎么做就不需要我说,甚至不需要看我的代码了。如果没学过机器学习,只会用python,那么我可以告诉你,python可以调用一个sklearn库,可以轻松训练很多机器学习模型。训练的流程,其实就是我上篇文章所说的近红外光谱数据建模的流程。
数据集你可以选择按照我代码中的那样划分,也可以自己找一下交叉验证的代码,不划分数据集训练模型。
代码放附件了。有问题问我吧。
5. 关于使用深度学习实现近红外光谱数据建模
如果你能做到这一步,基本上是食品领域的SCI二区以上了,近些年很少有使用深度学习模型的。如需想将深度学习运用到近红外光谱数据建模中,欢迎联系我呀,我花了很久学到的,可能会派上用场,我也算没白学了。关于这部分的交流,请联系私信我吧。