【数据去噪】SG-多项式平滑算法

最新推荐文章于 2024-07-22 16:38:26 发布
最新推荐文章于 2024-07-22 16:38:26 发布
阅读量5.5k 收藏 62
点赞数 4
分类专栏： 【CV论文及数学原理】 【AI模型训练与部署】 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/all_in_gzx_cc/article/details/128079606
版权
本文介绍了五点三次多项式平滑算法在处理工业数据，尤其是去除车道线检测噪声点中的应用。通过平滑处理，可以提高数据曲线的光滑度，减少高频干扰的影响。文中列举了不同点数的线性平滑和二次平滑算法实现，包括3点、5点、7点的线性和平滑方法，并提供了相应的代码示例。
摘要由CSDN通过智能技术生成

文章目录

一、简介

在处理工业数据的时候，工业数据有数据颗粒细，噪声大，量大，随着测量点的增加，数据维度高，复杂性高，而且关联性强，不过这个关联性是相对的，因为有时候数据噪声较大，显示不出来这种关联性。

最近了解的五点三次平滑，因为工作中遇到了用 五点三次平滑算法 平滑 车道线模型检测出的 车道线的点集，去除噪声点，方便后处理里拟合车道线方程。

引用文献的解释:

“一般来说，在数据采集系统中采集到的数据往往叠加有噪声。
噪声分为两种，一类为周期性的，一类为不规则的。前者代表为50 Hz 的工频干扰，后者代表为随机信号。”
“由于随机干扰的存在，使得随机信号绘成的曲线多呈折线状，这就表明采样数据中高频成分比较丰富。为了消除或减弱干扰的影响，提高曲线光滑度，需对采样数据进行平滑处理。
常用的平滑处理方法有: 平均法、样条函数法和五点三次平滑法。

  • 平均法相对简单，滤波效果也差;
  • 样条函数法利用样条插值逼近采样点的方法来实现平滑，算法多样，效果较好，但是，使用该方法计算相对复杂，平滑幅度控制较差;
  • 五点三次平滑法利用多项式最小二乘逼近来对采样点实行平滑滤波，算法简单，效果较好。”

二、原理

在这里插入图片描述
把光谱一段区间的等波长间隔的5个点记为X集合，多项式平滑就是利用在波长点为Xm-2,Xm-1,Xm,Xm+1,Xm+2的数据的多项式拟合值来取代Xm,，然后依次移动，直到把光谱遍历完。

在这里插入图片描述

5点3次多项式平滑

设已知n个等距点，上的观测(或实验)数据为
x0＜x1＜…＜xn－1，
则可以在每个数据点的前后各取两个相邻的点，用三次多项式

Y=a0 + a1x + a2x^2 + a3x^3

进行逼近。

根据最小二乘原理确定出系数a0，a1，a2，a3，最后可得到五点三次平滑公式如下：
在这里插入图片描述
该公式要求数据点数n≥5，当数据点数多于5时，为对称考虑，除在两端分别用公式(4-1),(4-2)和(4-4),(4-5)外，其余都用公式(4-3)进行平滑，这就相当在每个子区间上用不同的三次最小二乘多项式进行平滑。

三、代码

1. 3点线性平滑

//3点线性平滑
int LinearSmooth3(double* input, long size) {
	double *output = new double[size];
	long i(0);
 
	if (size < 3)
	{
		for (i = 0; i <= size - 1; i++)
		{
			output[i] = input[i];
		}
	}
	else
	{
		output[0] = (5.0 * input[0] + 2.0 * input[1] - input[2]) / 6.0;
		for (i = 1; i <= size - 2; i++)
		{
			output[i] = (input[i - 1] + input[i] + input[i + 1]) / 3.0;
		}
		output[size - 1] = (5.0 * input[size - 1] + 2.0 * input[size - 2] - input[size - 3]) / 6.0;
	}
 
	for (i = 0; i < size; i++)
	{
		input[i] = output[i];
	}
 
	delete[] output;
 
	return 0;
}

2. 5点线性平滑

//5点线性平滑
int LinearSmooth5(double* input, long size) {
	double *output = new double[size];
	long i(0);
 
	if (size < 5)
	{
		for (i = 0; i <= size - 1; i++)
		{
			output[i] = input[i];
		}
	}
	else
	{
		output[0] = (3.0 * input[0] + 2.0 * input[1] + input[2] - input[4]) / 5.0;
		output[1] = (4.0 * input[0] + 3.0 * input[1] + 2 * input[2] + input[3]) / 10.0;
		for (i = 2; i <= size - 3; i++)
		{
			output[i] = (input[i - 2] + input[i - 1] + input[i] + input[i + 1] + input[i + 2]) / 5.0;
		}
		output[size - 2] = (4.0 * input[size - 1] + 3.0 * input[size - 2] + 2 * input[size - 3] + input[size - 4]) / 10.0;
		output[size - 1] = (3.0 * input[size - 1] + 2.0 * input[size - 2] + input[size - 3] - input[size - 5]) / 5.0;
	}
 
	for (i = 0; i < size; i++)
	{
		input[i] = output[i];
	}
 
	delete[] output;
 
	return 0;
}

3. 5点2次线性平滑

//5点二次线性平滑
int LinearSmooth52(double* input, long size) {
	double *output = new double[size];
	long i(0);
 
	if (size < 5)
	{
		for (i = 0; i <= size - 1; i++)
		{
			output[i] = input[i];
		}
	}
	else
	{
		output[0] = (31.0 * input[0] + 9.0 * input[1] - 3.0 * input[2] - 5.0 * input[3] + 3.0 * input[4]) / 35.0;
		output[1] = (9.0 * input[0] + 13.0 * input[1] + 12 * input[2] + 6.0 * input[3] - 5.0 *input[4]) / 35.0;
		for (i = 2; i <= size - 3; i++)
		{
			output[i] = (-3.0 * (input[i - 2] + input[i + 2]) +
				12.0 * (input[i - 1] + input[i + 1]) + 17 * input[i]) / 35.0;
		}
		output[size - 2] = (9.0 * input[size - 1] + 13.0 * input[size - 2] + 12.0 * input[size - 3] + 6.0 * input[size - 4] - 5.0 * input[size - 5]) / 35.0;
		output[size - 1] = (31.0 * input[size - 1] + 9.0 * input[size - 2] - 3.0 * input[size - 3] - 5.0 * input[size - 4] + 3.0 * input[size - 5]) / 35.0;
	}
 
	for (i = 0; i < size; i++)
	{
		input[i] = output[i];
	}
 
	delete[] output;
 
	return 0;
}

4. 5点3次线性平滑

//5点三次线性平滑
int LinearSmooth53(double* input, long size) {
	double *output = new double[size];
	long i(0);
 
	if (size < 5)
	{
		for (i = 0; i <= size - 1; i++)
			output[i] = input[i];
	}
	else
	{
		output[0] = (69.0 * input[0] + 4.0 * input[1] - 6.0 * input[2] + 4.0 * input[3] - input[4]) / 70.0;
		output[1] = (2.0 * input[0] + 27.0 * input[1] + 12.0 * input[2] - 8.0 * input[3] + 2.0 * input[4]) / 35.0;
		for (i = 2; i <= size - 3; i++)
		{
			output[i] = (-3.0 * (input[i - 2] + input[i + 2]) + 12.0 * (input[i - 1] + input[i + 1]) + 17.0 * input[i]) / 35.0;
		}
		output[size - 2] = (2.0 * input[size - 5] - 8.0 * input[size - 4] + 12.0 * input[size - 3] + 27.0 * input[size - 2] + 2.0 * input[size - 1]) / 35.0;
		output[size - 1] = (-input[size - 5] + 4.0 * input[size - 4] - 6.0 * input[size - 3] + 4.0 * input[size - 2] + 69.0 * input[size - 1]) / 70.0;
	}
 
	for (i = 0; i < size; i++)
	{
		input[i] = output[i];
	}
 
	delete[] output;
 
	return 0;
}

5. 7点线性平滑

//7点线性平滑
int LinearSmooth7(double* input, long size) {
	double *output = new double[size];
	long i(0);
 
	if (size < 7)
	{
		for (i = 0; i <= size - 1; i++)
		{
			output[i] = input[i];
		}
	}
	else
	{
		output[0] = (13.0 * input[0] + 10.0 * input[1] + 7.0 * input[2] + 4.0 * input[3] +
			input[4] - 2.0 * input[5] - 5.0 * input[6]) / 28.0;
		output[1] = (5.0 * input[0] + 4.0 * input[1] + 3 * input[2] + 2 * input[3] +
			input[4] - input[6]) / 14.0;
		output[2] = (7.0 * input[0] + 6.0 * input[1] + 5.0 * input[2] + 4.0 * input[3] +
			3.0 * input[4] + 2.0 * input[5] + input[6]) / 28.0;
		for (i = 3; i <= size - 4; i++)
		{
			output[i] = (input[i - 3] + input[i - 2] + input[i - 1] + input[i] + input[i + 1] + input[i + 2] + input[i + 3]) / 7.0;
		}
		output[size - 3] = (7.0 * input[size - 1] + 6.0 * input[size - 2] + 5.0 * input[size - 3] +
			4.0 * input[size - 4] + 3.0 * input[size - 5] + 2.0 * input[size - 6] + input[size - 7]) / 28.0;
		output[size - 2] = (5.0 * input[size - 1] + 4.0 * input[size - 2] + 3.0 * input[size - 3] +
			2.0 * input[size - 4] + input[size - 5] - input[size - 7]) / 14.0;
		output[size - 1] = (13.0 * input[size - 1] + 10.0 * input[size - 2] + 7.0 * input[size - 3] +
			4 * input[size - 4] + input[size - 5] - 2 * input[size - 6] - 5 * input[size - 7]) / 28.0;
	}
 
	for (i = 0; i < size; i++)
	{
		input[i] = output[i];
	}
 
	delete[] output;
 
	return 0;
}

6. 7点2次线性平滑

//7点二次线性平滑
int LinearSmooth72(double* input, long size) {
	double *output = new double[size];
	long i(0);
 
	if (size < 7)
	{
		for (i = 0; i <= size - 1; i++)
		{
			output[i] = input[i];
		}
	}
	else
	{
		output[0] = (32.0 * input[0] + 15.0 * input[1] + 3.0 * input[2] - 4.0 * input[3] -
			6.0 * input[4] - 3.0 * input[5] + 5.0 * input[6]) / 42.0;
		output[1] = (5.0 * input[0] + 4.0 * input[1] + 3.0 * input[2] + 2.0 * input[3] +
			input[4] - input[6]) / 14.0;
		output[2] = (1.0 * input[0] + 3.0 * input[1] + 4.0 * input[2] + 4.0 * input[3] +
			3.0 * input[4] + 1.0 * input[5] - 2.0 * input[6]) / 14.0;
		for (i = 3; i <= size - 4; i++)
		{
			output[i] = (-2.0 * (input[i - 3] + input[i + 3]) +
				3.0 * (input[i - 2] + input[i + 2]) +
				6.0 * (input[i - 1] + input[i + 1]) + 7.0 * input[i]) / 21.0;
		}
		output[size - 3] = (1.0 * input[size - 1] + 3.0 * input[size - 2] + 4.0 * input[size - 3] +
			4.0 * input[size - 4] + 3.0 * input[size - 5] + 1.0 * input[size - 6] - 2.0 * input[size - 7]) / 14.0;
		output[size - 2] = (5.0 * input[size - 1] + 4.0 * input[size - 2] + 3.0 * input[size - 3] +
			2.0 * input[size - 4] + input[size - 5] - input[size - 7]) / 14.0;
		output[size - 1] = (32.0 * input[size - 1] + 15.0 * input[size - 2] + 3.0 * input[size - 3] -
			4.0 * input[size - 4] - 6.0 * input[size - 5] - 3.0 * input[size - 6] + 5.0 * input[size - 7]) / 42.0;
	}
 
	for (i = 0; i < size; i++)
	{
		input[i] = output[i];
	}
 
	delete[] output;
 
	return 0;
}
All_In_gzx_cc
关注
  • 4
    点赞
  • 踩
  • 62
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
SG-多项式平滑滤波器(Codesys完整源代码+算法详解)
RXXW_Dor的博客
04-21 304
1、PLC的一阶低通滤波器实现PLC信号处理系列之一阶低通(RC)滤波器算法_一阶rc滤波器 数字-CSDN博客文章浏览阅读4.2k次。1、先看看RC滤波的优缺点 优点：采用数字滤波算法来实现动态的RC滤波，则能很好的克服模拟滤波器的缺点；1、在模拟常数要求较大的场合这种算法显得更为实用；2、对于周期干扰有良好的抑制作用， 3、比较节省RAM空间 缺点：不足之处是带来了相位滞后，导致灵敏度低；
sg平滑 matlab语言
05-08
用于信号去噪，光谱去噪，数据是使用近红外光谱进行验证，可以使用
五点三次平滑的程序源代码
limingmcu的专栏
04-27 1万+
问题 用五点三次平滑公式对等距点上的观测数据进行平滑。 算法分析 设已知n个等距点，上的观测(或实验)数据为x0＜x1＜…＜xn－1，则可以在每个数据点的前后各取两个相邻的点，用三次多项式 Y=a0+a1x+a2x^2+a3x^3 进行逼近。 根据最小二乘原理确定出系数a0，a1，a2，a3，最后可得到五点三次平滑公式如下： 改公式要求数据点数n≥5，当数据点数多于5时，为对称考...
平滑值的计算
最新发布
lazy_11的博客
07-22 1172
单指数平滑主要用于数据没有明显趋势和季节性的情况，简单易用。双指数平滑适用于存在明显线性趋势的时间序列。三重指数平滑适用于同时存在趋势和季节性的时间序列，能处理复杂的时间序列数据。这些平滑方法帮助我们对时间序列数据进行预测，提取数据中的模式和趋势。移动平均方法通过计算滑动窗口内的平均值来平滑数据，适用于平滑短期波动。指数平滑方法通过加权前一个平滑值和当前观察值来平滑数据，适用于捕捉长期趋势和季节性变化。这些平滑方法有助于简化数据分析，使得我们可以更清晰地看到时间序列数据中的长期趋势和周期性变化。
SG平滑算法（又称多项式平滑算法）
热门推荐
schuffel的博客
12-24 5万+
今天是平安夜，闲来无事，那就来写一下SG平滑算法吧！ SG平滑算法是由Savizkg和Golag提出来的。基于最小二乘原理的多项式平滑算法，也称卷积平滑。为啥叫多项式平滑呢？且看下去。 下面使用五点平滑算法来说明平滑过程 原理很简单如图： 把光谱一段区间的等波长间隔的5个点记为X集合，多项式平滑就是利用在波长点为Xm-2,Xm-1,Xm,Xm+1,Xm+2的数据的多项式拟合值来取代X...
SG数据平滑
01-02
光谱数据预处理，对光谱数据的噪声进行平滑操作。去除其中的噪声等，消除干扰因素。得到可以利用的数据
SG平滑
weixin_43811910的博客
02-03 612
#SG平滑 import numpy as np from scipy.signal import savgol_filter from matplotlib import pyplot as plt np.set_printoptions(precision=2) # For compact display. x = np.array([2, 2, 5, 2, 1, 0, 1, 4, 9]) newx = savgol_filter(x, 5, 2) print(newx) plt.plot(x,
[转]博弈论（二）：Sprague-Grundy函数
weixin_33694172的博客
04-29 299
上一期的文章里我们仔细研究了Nim游戏，并且了解了找出必胜策略的方法。但如果把Nim的规则略加改变，你还能很快找出必胜策略吗？比如说：有n堆石子，每次可以从第1堆石子里取1颗、2颗或3颗，可以从第2堆石子里取奇数颗，可以从第3堆及以后石子里取任意颗……这时看上去问题复杂了很多，但相信你如果掌握了本节的内容，类似的千变万化的问题都是不成问题的。 现在我们来研究一个看上去似乎更为一般的游戏：给定一个...
自然语言处理之数据平滑方法
fuermolei的博客
08-02 9294
在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练的时候，预料库中不可能包含所有可能出现的序列，因此为了防止对训练样本中为出现的新序列概率估计值为零，人们发明了不少可以改善估计新序列出现的概率算法，即数据的平滑。最常见的数据平滑算法包括如下几种： Add-one (Laplace) smoothing Add-k smoothing Backoff...
S-G平滑.zip_s-g平滑_去噪_去噪平滑_平滑_平滑去噪
07-15
去噪平滑通常涉及多次迭代，每次迭代可能使用不同大小的窗口或不同阶的多项式，以适应信号的不同部分。在光谱分析中，平滑有助于减少噪声干扰，提高信噪比，使光谱峰更加清晰，便于后续的峰识别和定量分析。 MATLAB...
数据处理S-G平滑代码
12-31
本资源提供了一种Python实现的S-G平滑算法，特别适合于光谱数据的处理，如土壤光谱数据。 Savitzky-Golay滤波器是基于最小二乘法的一种平滑技术，它通过在数据点周围构建多项式并最小化误差来平滑数据。与简单的...
matlab中的S-G平滑算法
11-02
采用S-G平滑对所采集的数据进行平滑，去除数据图只的毛躁。
数据挖掘数据平滑DataSmothing算法源代码 Java
09-16
数据文件已经项目目录下，直接在IDE导入项目运行即可。（注：该项目是在jdk1.8环境下编译） 数据文件已经项目目录下，直接在IDE导入项目运行即可。（注：该项目是在jdk1.8环境下编译）
采用简单的S_G平滑算法（Savizkg_Golag）多项式平滑信号去噪附matlab代码.zip
02-07
Savitzky-Golay (S_G) 平滑算法是一种广泛应用在信号处理中的方法，主要用于去除噪声并平滑数据序列。它通过拟合数据点附近的多项式来实现这一目标，保留了信号的主要特征，同时减少了噪声的影响。该算法特别适用于...
SG平滑算法记录
wdyxyyp的博客
09-20 3761
SG算法概述 SG平滑算法是由Savizkg和Golag提出来的。基于最小二乘原理的多项式平滑算法，也称卷积平滑。 原理 代码实现 使用了MathNet.Numerics包来进行矩阵的计算，以下是实现5点3次的代码 //y为纵坐标 private static double SGAlgorithm(List<double> y) { double[] xdata = { 1, 1, 1, 1, 1, -2, -1, 0, 1, 2, 4, 1, 0, 1
数据平滑算法
u014345526的专栏
02-14 4105
不多说了，下面贴代码。首先是线性拟合平滑处理的代码. 分别为三点线性平滑、五点线性平滑和七点线性平滑。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
python实现时序平滑算法SG滤波器
jd1813346972的博客
03-25 3027
该篇文章针对火焰光谱数据使用S-G平滑滤波对原始光频信息本身带有的较多的噪声信号的火焰毛刺数据进行处理，减少由于噪声导致的对火焰有效红外光谱特征数据的正确获取结果产生较大的影响，包括模型原理，Python实操及对应的可视化分析和结果解读。
SG平滑方法及其证明
qq_37562714的博客
11-27 2614
序列数据平滑（SG平滑、滑动平均平滑）
weixin_42155937的博客
02-10 3891
  经过 序列数据缺失值插补（线性插值） 处理，时间序列数据已经完整。如果需要，序列数据时序平滑对时序分析有重要帮助。其中以滑动平均平滑和SavitzkyGolay（SG）平滑较为常用。   本文以缺失值插补后的时序 MODIS 数据为输入数据，介绍基于 gma 库 的这两种数据平滑方法的实现方式。
狄利克雷-多项式分布
07-27
狄利克雷-多项式分布是一种概率分布，它是多项式分布的推广。在概率论和统计学中，多项式分布用于描述在一次实验中，有多个互斥的、离散的结果出现的概率分布。而狄利克雷-多项式分布则是将多项式分布推广到更一般的情况。 狄利克雷-多项式分布中，我们假设有K个类别，每个类别的出现概率由参数向量α=(α1, α2, ..., αK)来确定。在一次实验中，我们观察到N次独立的结果，每个结果属于K个类别中的一个。我们可以使用狄利克雷-多项式分布来建模这个过程，并计算每个类别的概率。 狄利克雷-多项式分布在自然语言处理、文本挖掘等领域经常被使用，例如用于主题模型中的潜在狄利克雷分配(LDA)算法。它也在贝叶斯统计中起到重要作用，用于描述多类别的随机变量。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值