收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人
都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2 去摩尔纹
因为相机拍摄电子屏幕时，显示设备的发光点阵与相机传感器阵列发生混叠，产生了摩尔纹现象。屏幕图像摩尔纹表现为叠加在图像上的条纹，颜色和形态多变。图像中的摩尔纹在大范围的空域和频域内与原始图像信号混合，通常覆盖整张图像。摩尔纹图案不仅随着图像的不同而变化，而且在同一图像中随着空间位置的变化而呈现不同的色彩和形态。如果拍摄距离或拍摄角度略有变化，摩尔纹图案可能会有很大差异。另外，摩尔纹图案也与相机种类、屏幕种类和图像内容有关。摩尔纹的出现严重影响了成像的视觉质量，因此采用后处理技术去除图像摩尔纹有其必要性。如图所示为图像摩尔纹的实例，可以看出，摩尔纹可以呈条纹状、网格状或波纹状，纹理的走向和弧度都有差别，颜色也各异，因此去摩尔纹技术研究富有挑战性。
目前抑制摩尔纹的常见方法是在成像前进行预处理，例如，在相机镜头前放置抗混叠滤波器，对彩色滤波阵列(CFA)的输出应用精确插值算法。另外，在专业摄影领域，目前最有效的去摩尔纹方法是借助专业图像处理软件的后处理方法——Adobe Photoshop是最常用的软件之一。Photoshop简称“PS”，是由Adobe Systems公司开发及发行的图像处理软件，主要用于处理由像素构成的数字图像，有众多的编修和绘图工具，可以高效地进行图像的编辑工作。然而这些预处理方法对已获取摩尔纹图像，特别是屏幕图像的去摩尔纹算法的后矫正没有普适性的帮助——甚至需要用户掌握专业软件。
近年来，深度学习正在引领一场计算机视觉和图像处理领域的革命。例如：
- 解码器网络。该网络由多个卷积层和反卷积层构成，学习从降质的噪声图像到原始图像的端到端映射。卷积层作为特征提取器，提取图像的高层级特征同时去除噪声。反卷积层用来恢复图像细节。跳过连接对称的卷积层和反卷积层，可以加快训练的收敛速度，使模型收敛到更佳的局部最优值。跳过连接允许信号从高层直接反向传播到低层，解决了梯度消失的问题，使得训练深度网络更容易，让模型具有更优异的性能。此外，跳过连接将图像细节从卷积层直接传递到反卷积层，有助于恢复原始图像。该算法可用于图像复原任务如图像去噪和超分辨率等；
- 前馈卷积神经网络。该算法端到端的学习从噪声观测到干净图像的映射，利用残差学习和批归一化方法加速训练过程并提高去噪性能，可以实现未知噪声水平的高斯去噪；
- 超分辨率重建。采用卷积神经网络将低分辨率图像插值后的结果作为网络输入，学习由插值后的图像到高分辨率图像之间的映射关系，该映射在概念上由三个操作组成，首先提取相应的图像块并将其表示为高维向量，然后将此输入高维向量非线性地映射到高分辨率的高维向量上，最后根据学习到的映射关系生成高分辨率图像。
如图所示，合合信息的去摩尔纹技术已经相当成熟。
3 图像切边增强
图像切边增强是图像分割的子课题，也是图像处理和计算机视觉中的重要工作，近年来也是计算机视觉领域的研究热点之一，在目标检测、识别、分类等领域中得到广泛的应用。图像分割实质把人们关注的部分从图像中提取出来，进一步对图像有用信息进行分析和处理。目前根据分割原理分为：
- 基于边缘的分割算法，此类方法假设不同的区域之间的边缘上像素灰度值的变化往往比较剧烈，进而利用图像一阶导数的极大值或二阶导数的过零点信息来提供判断边缘点的基本依据，进一步还可以采用各种曲线拟合技术获得划分不同区域边界的连续曲线；
- 基于阈值的分割算法，阈值分割是常见的直接对图像进行分割的算法，根据图像像素的灰度值的不同而定。其基本原理是通过设定不同的特征阀值，把图像像素点分为具有不同灰度级的目标区域和背景区域的若干类对应单一目标图像；
- 基于区域的分割方法。以直接寻找区域为基础的分割技术，具体算法有区域生长和区域分离与合并算法％。区域生长是从某个或者某些像素点出发，最后得到整个区域，进而实现目标的提取。而分裂合并可以说是区域生长的逆过程。它是从整个图像出发，不断分裂得到各个子区域，然后再把前景区域合并，得到前景目标，继而实现目标的提取。基于区域的分割算法对于较均匀的连通目标有较好的分割效果。但需要人为的选取种子，且对噪声较敏感，可能会导致区域内有空洞；
- 基于聚类的分割算法。把像素点样本集划分为独立的区域，同一区域内的像素相似度高，不同区域之间相似度小。早期的K-means算法通过初始化一定数量聚类中心后，通过计算各个像素点到聚类中心距离来度量相似度，相似度高的像素点完成迭代聚类；模糊聚类算法则通过在计算距离时应用隶属度函数，能更加准确的实现聚类，但是计算复杂度也高。
4 PS检测
随着 Photoshop 的不断发展，技术水平的不断提高，应用 PS 可以对图像进行各种操作，例如美化、分割、抠图等，并且操作后的图像不会显得很突兀。然而，在高速发展的数字信息时代，信息安全是我们不容忽视的问题，若利用 PS 对图片进行恶意的复制、修改、删除或添加等，会导致非常严重的后果。高质量的 PS 图像很难用肉眼识别出来，采用一种合适的方法对更改图像进行识别是非常必要的。基于图像特征检测与匹配的方法是PS检测领域的常用技术。
最传统和经典的特征点检测方法是尺度不变特征转换(Scale-Invariant Feature Transform, SIFT)，SIFT的核心原理是：基于拉普拉斯金字塔，在不同尺度空间中查找和定位鲁棒性关键点；基于HOG实现旋转不变性并生成特征描述子。主要的步骤如下：
- 尺度空间关键点检测与定位
为使特征描述具有尺度不变性，SIFT在尺度空间上寻找关键特征点。考虑到图像特征往往具有高频特性，使用拉普拉斯金字塔构造图像尺度空间。拉普拉斯金字塔已由各尺度图像局部极值点构成，SIFT更进一步检测金字塔局部极值点作为粗关键点。考虑到上述粗关键点的求取在拉普拉斯尺度空间内进行，该空间在突出特征响应的同时也具有很强的边缘响应，而一旦特征点落在图像边缘上就会带来不稳定性。这是因为：① 图像边缘上很难定位到某个具体像素点，具有歧义性；② 边缘点容易受噪声干扰。因此还需要消除上述修正点的边缘响应。SIFT中借鉴了Harris角点检测的思路消除边缘响应。设每个检测点的Hessian矩阵为
H
=
[
f
x
x
f
x
y
f
y
x
f
y
y
]
H=\left[ \begin{matrix} f_{xx}& f_{xy}\ f_{yx}& f_{yy}\\end{matrix} \right]
H=[fxxfyxfxyfyy]
二阶偏导项通过有限差分法取得。要排除边缘点，只需使式的响应值尽可能大——趋近角点而非边缘，在SIFT中即为
t
r
(
H
)
2
det
(
H
)
<
(
γ
1
)
2
γ
\frac{\mathrm{tr}\left( \boldsymbol{H} \right) ^2}{\det \left( \boldsymbol{H} \right)}<\frac{\left( \gamma +1 \right) ^2}{\gamma}
det(H)tr(H)2<γ(γ+1)2
至此，就得到了图像全部的尺度不变性特征点。
- 特征点特征方向分配
SIFT为各特征点分配特征方向
θ
\theta
θ，这样在不同的图片中，同一个特征会被扭转到相同的基准角进行比较，实现特征描述的旋转不变性，如图所示。下面阐述具体步骤。首先以特征点
X
=
(
x
,
y
,
σ
)
T
X=\left( x,y,\sigma \right) ^T
X=(x,y,σ)T为中心，选取半径 的区域，计算各像素梯度。以特征点为中心，用 的高斯核对区域进行加权，以综合各像素对特征点梯度的贡献(越远的像素点贡献越小)。
加权完毕后，构造一个0360°范围，每10°一个直方柱的HOG，统计上述区域的梯度信息。具体而言，区域内梯度方向为09°的像素，其梯度幅值的加权值相加构成HOG第一直方柱的高，其余同理。HOG统计完毕后，其主峰代表的梯度角度范围包含了特征点的特征主方向
θ
m
a
i
n
\theta _{main}
θmain，通过二次曲线插值拟合公式，从第
i
i
i个直方柱的角度范围估计精确的
θ
m
a
i
n
\theta _{main}
θmain。每个特征点除了必须分配一个主方向外，还可能有一个或多个特征辅方向
θ
e
l
s
e
\theta _{else}
θelse，其定义为：当存在另一直方柱高度大于主峰高度80%时，该旁峰所代表的的方向角即为辅方向。增加辅方向的目的是为了增强图像匹配的鲁棒性，将主方向、辅方向合成为特征点的特征方向
θ
=
[
θ
m
a
i
n
,
θ
e
l
s
e
]
T
\theta =\left[ \theta _{main},\theta _{else} \right] ^T
θ=[θmain,θelse]T。至此，特征点的表述形式增强为
X
=
[
x
y
σ
θ
]
T
\boldsymbol{X}=\left[ \begin{matrix} x& y& \sigma& \boldsymbol{\theta }\\end{matrix} \right] ^T
X=[xyσθ]T，同时具有尺度不变性和旋转不变性
- 生成SIFT特征描述子
对特征点
X
=
[
x
y
σ
θ
]
T
\boldsymbol{X}=\left[ \begin{matrix} x& y& \sigma& \boldsymbol{\theta }\\end{matrix} \right] ^T
X=[xyσθ]T，以
(
x
,
y
)
\left( x,y \right)
(x,y)为中心，将其邻域划分
d
×
d
d\times d
d×d个Cell。每个Cell边长为
3
σ
3\sigma
3σ。为保证特征点的旋转不变性，需要将上面的邻域旋转 进行特征方向对齐，旋转半径为邻域对角线长度的一半，旋转后特征点邻域的实际大小为
(
2
r
收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人
都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
)
\left( x,y \right)
(x,y)为中心，将其邻域划分
d
×
d
d\times d
d×d个Cell。每个Cell边长为
3
σ
3\sigma
3σ。为保证特征点的旋转不变性，需要将上面的邻域旋转 进行特征方向对齐，旋转半径为邻域对角线长度的一半，旋转后特征点邻域的实际大小为
(
2
r
收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
[外链图片转存中…(img-vfbkHvip-1715801599363)]
[外链图片转存中…(img-iLp0hauG-1715801599364)]
需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人
都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1854
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
