三维点云处理（二）——PCA

已于 2023-06-06 14:55:50 修改
阅读量2k 收藏 6
点赞数 1
文章标签： 聚类 机器学习 算法
于 2023-06-05 16:29:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45563167/article/details/130977608
版权

文章目录

前言

上一回我们介绍了点云的基本概念，然后介绍了不同感知源头获取到数据的各种特征，之后是处理点云数据的一些主流方法，今天开始正式进入传统数学方法的研究

下面正式开始介绍

1.Principle Component Analysis

PCA is to find the dominant directions of the point cloud。

Applications:

  • Dimensionality reduction （降维）
  • Surface normal estimation （表面法向估计）
  • Canonical orientation （正则定向）
  • Keypoint detection （关键点检测）
  • Feature description （特征描述）

在这里插入图片描述
第一个知识点是主成分分析（PCA)，如图所示是在二维和三维情况下的主成分分析，先将三维数据进行降维，保存原始信息， 另一个就是法向量的估计。所以其实聚类不光可以用深度网络来做，还包括PCA、KPCA，这些都是可以用来做分类，下面来看一些基础的数学概念和物理意义，这样会有助于我们理解后面的一些证明。

1.1 Physical intuitions

首先需要了解几个基础知识：

  1. 向量点积（Vector Dot Product）点积公式；
  2. 矩阵和向量的乘法，矩阵的列的线性组合
  3. 从SVD的角度来理解。几何意义上进行旋转，缩放，旋转。
    在这里插入图片描述
    我们可以得到一个线性代数框架中的结论谱定理（Spectral Theorem），如果我们有一个对称矩阵M，那么可以被分解成如下形式，λ是ui的特征值：

1.2 Soectral Theorem

在这里插入图片描述

1.3 Rayleigh Quotients

然后是瑞利熵（Rayleigh Quotients），对于Ax是x的对称矩阵，有x=u1和x=un，则可以得到A的最大最小值
在这里插入图片描述
通过谱定理来证明瑞利熵，将对称矩阵Ax分解，通过将x进行一个高维旋转转换成Xu，由于旋转不改变向量长度，则xi的和和x-的和相同，通过组合变换得到瑞利熵的定义如下：
在这里插入图片描述

1.4 PCA

下面是PCA（主成分分析）的主要定义：
在这里插入图片描述
总体来说PCA主成分分析即对输入进行降维和聚类。我们的输入是Xi，为高维空间里的m个向量，由一堆高维输入的点输出一群主要的向量，得到的Z1即为最主要的点，具体来说，即这些高维点投影到某一个方向上，这些投影后的点方差要最大，也就是说这些点在那个方向上分布的非常的散。将Xi里输入Z1的成分都去掉，再找剩下的里面最主要成分，就得到了第二个主成分，那么第三个要如何取得呢？我们来看看证明：
在这里插入图片描述
因为我们关心的是方向，而并非中心点，所以我们将中心点设置为0。PCA就是当z投影到一个方向上时取得的最大向量，然后计算方差，在减掉了中心点之后求取到最大值：
在这里插入图片描述
在代入了瑞利熵的定理之后证明得到PCA的求解，关于H = ∑²，我们通过SVD的形式来分解H：
在这里插入图片描述
可以看到谱定理和SVD是很相似的，用SVD的形式就可以求解Z2，在求解Z2时，将这些数据点里属于Z1的成分去掉。在推演中要注意Ur是正交矩阵，他的每一列都是互相垂直的，z2=u2。
在这里插入图片描述
最后结论主成分向量就是Ur的列，第一个基地就是Xi最有代表性的方向，第二个基地为垂直于第一个基底的另一个方向，以此类推PCA可以理解成一个基底置换的过程，这样的方式即为降维（Dimensionality Reduction）。
在这里插入图片描述

1.4 Dimensionality Reduction

例如存在一群n维的点，将这群n维的点投影到低维空间里，同时保留其特征值就是降维，这是PCA里常用的算法，通过无监督学习的方式将输入进行聚类和降维，用PCA找出其l个主向量，即将n降维至l后得到的z，这时候我们将Xi分别投影到每一个Z上面，就得到了每个Z和每个X在每一个方向上的投影，一个n维的点可以通过降维用l维的a系数来代替，这就是Encoder。想要从l维回到n维，就通过作和的方式，因为a其实是x在每一个z上的投影，我们将这个投影重新加起来即可，但是需要注意 ，我们经过了降维，再升维的时候肯定会有数据上的损失，除非此时的z = l，做完全基底置换过程，不会有任何的损失，只要l小于n的就不会产生数据的损失，只是经过筛选后的数据损失量会比较小。
在这里插入图片描述

1.5 PCA/Eigenfaces在识别上的应用

如上图的两类数据点，我们在做降维时，在不同方向上的一维系数降维特征则更加突出。
在这里插入图片描述
降维除了可以做图片的降维压缩，还能做聚类，使用ai作为zi进行人脸识别的聚类（Eigenfaces）输入图片，压缩成低维的系数ai，再进行聚类。
所以在神经网络和深度学习之前就已经有过图片和人脸识别了，这些方法的数据量输入小，不会出现神经网络过拟合的问题。

总结

提示：今天学习的PCA，是除了深度学习之外，另一种做图像信息识别的传统方法，在理论推演过程中涉及到线性代数和对称矩阵变换等数学方法，需要我们对谱定理，瑞利熵定理和奇异值分解知识有一定基础，还需要了解数据点在不同维度聚类的情况，降维在不同向量上的特征表现。

关于以上定理的具体推演过程就不再详细论述，下面是一些相关参考资料：
CSND
知乎文章
B站视频

我们还需要了解的是，早在AI和深度学习之前，利用以上的数学推演，就可以进行图像和人脸信息的识别了。可能只需要三五十个图片，就可以进行PCA并得到一个相对比较好的结果。而使用神经网络这些输入量是远远满足不了算法训练需求的。

榛子威化
关注
PCL 主成分分析(PCA)在三维点云中的应用
点云侠的博客
12-04 9843
PCA在三维点云中的应用——计算点云质心、特征值、特征向量、数据投影、复原、用于配准等。
【2024最新版】python点云处理算法汇总(长期更新版)
热门推荐
点云侠的博客
01-29 40万+
python点云处理算法整理。博客长期更新，最近一次更新时间为：2024年10月22日。
三维点云数据处理
05-26
三维点云数据的处理，可以任意缩放与拉伸，前提输出点云位置关系
三维点云特点及处理方法
最新发布
yzf060109的专栏
09-18 1324
点云（point cloud）是空间中点的数据集，可以表示三维形状或对象，通常由三维扫描仪获取。点云中每个点的位置都由一组笛卡尔坐标 ( X , Y , Z ) (X, Y, Z) (X,Y,Z)描述，有些可能含有色彩信息 ( R , G , B ) (R, G, B) (R,G,B)或物体反射面强度（Intensity）信息。强度信息的获取是激光扫描仪接受设备采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
【点云处理】PCA
KNIGHT_HOY的博客
03-17 2315
文章目录PCA主成分分析数学概念PCA降维过程Kernel PCA流程： PCA主成分分析 物理意义：把数据投影到比较有特征性的方向上 每个点在这个方向上的投影就是主成分 应用：数据降维（保持原始信息）分类（KPCA） 数学概念 向量内积：一个向量投影到另一个向量中 矩阵向量乘法：矩阵每一列的线性组合 PCA 输入：m个n维向量 输出：k（k<n）个principle vector： 输入的k维向量的一群点最有代表性(把这群点投影到这方向上投影的方向最大 分布较散)
三维点云处理-PCA主成分分析
weixin_49401384的博客
04-18 1523
三维点云处理在三维重建、SLAM、机器人感知等领域都有涉及，那么如何更好地分析和利用三维点云数据也一直是一个比较热门的研究话题。常用的三维点云处理库如 PCL（Point Cloud Library）和 Open3D等。点云通常是指某个坐标系下点的集合。每个点可以包含多个维度的信息，如空间三维坐标（XYZ）、颜色（RGB）、强度值（Intensity）等等。
【三维点云处理】PCA主成分析＋实践(一)
点云兔子的博客
03-02 5975
@[TOC]三维点云处理：PCA主成分析＋实践 #PCA简介 #python代码 #实验结果 PCA简介 PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。 详情查看这两篇稿子 一 二 python代码 import open3d as o3d import os import numpy as np impor
三维点云处理-PCA
qq_40553788的博客
03-18 394
PCA可以在三维点云数据中做降维处理、法向量估计、关键点检测、特征描述分类等任务以上就是今天要讲的内容，本文仅仅简单介绍了PCA的相关原理，而PCA可以帮助我们处理数据。
课程笔记-三维点云处理01 ——Introduction and Basic Algorithms
Jason_____Wang的博客
02-28 1761
课程笔记-三维点云处理01 ——Introduction and Basic Algorithms 本系列笔记是对深蓝学院所开设的课程：《三维点云处理》的笔记 课程每周更新，我也会努力将每周的知识点进行总结，并且整理成笔记发上来，欢迎各位多多交流&批评指正！！ 本文主要为课程第一章的笔记！ 课程链接： 三维点云处理——深蓝学院 正式内容: #################################################### Course outline and prerequis
课程笔记-三维点云处理07——3D Feature Detection
Jason_____Wang的博客
04-28 920
课程笔记-三维点云处理07—— 3D Feature Detection 本系列笔记是对深蓝学院所开设的课程：《三维点云处理》的笔记 课程每周更新，我也会努力将每周的知识点进行总结，并且整理成笔记发上来，欢迎各位多多交流&批评指正！！ 本文主要为课程第七章的笔记！ 由于第六章继续进行深度学习领域知识讲解，因此不仅知识量陡增，课程量也加大，因此本章将分为上下两篇笔记进行记录。 本节课主要讲3D特征感知，介绍 课程链接： 三维点云处理——深蓝学院 本节课大纲： #####################
睿慕课三维点云处理课程作业代码
09-12
睿慕课的三维点云处理课程是一门深入探讨如何对三维空间中的点云数据进行分析、处理和应用的课程。点云数据是通过激光雷达、3D扫描仪等设备获取的，它包含了物体表面的大量散乱点信息，是构建三维模型、进行环境感知...
java 点云数据处理_三维点云处理技术二：三维点云表征概述
weixin_42402188的博客
02-16 774
讲师:索传哲三维点云数据获取方式及原理主要分为立体视觉测量法、结构光3D成像法、飞行时间TOF法。 立体视觉测量法相机成像模型视觉SLAM14讲——相机模型介绍世界坐标系下的三维坐标点P w ⟶ P_w\longrightarrowPw​⟶相机坐标系下的坐标P c ⟶ P_c\longrightarrowPc​⟶归一化坐标P n o r m ⟶ P_{norm}\longrightarrowPno...
基于PCA的点云位姿估计与粗拼接，matlab实现
04-04
使用主元分析法PCA对两片点云数据作粗略的拼接配准，可以作为ICP算法的预处理步骤。尝试规定了PCA主元向量的朝向。附带ply文件格式的bunny多视角数据。
你需要的三维激光LiDAR点云数据处理服务来了！
YouAnKeJi的博客
05-11 763
随着三维激光扫描技术的迅速发展，点云数据的应用方向变得更加广泛，呈现出多点开花的态势。但由于点云数据的体量庞大，面向的专业应用方向十分广泛，用于处理点云数据的软件工具种类纷繁多样，因此，内业处理起来非常棘手，想要获取点云数据中蕴含的丰富价值信息并加以应用更是颇有难度！如果你正在为点云数据的处理与应用发愁，也许以下解决方案会为你带来帮助。 优案科技专注于三维激光扫描技术及应用，多年来一直从事着点云数据的处理、应用相关工作，不断为多种行业提供点云数据的综合应用解决方案，与此同时也积累了更多宝贵经验，在数据..
三维点云处理系列----PCA
张飞飞的博客
05-30 3950
一、主成分分析 PCA推导的基础数学知识准备 1、矩阵和向量相乘 矩阵和向量相乘实际是矩阵对向量进行旋转加拉伸作用。可以试试例子：矩阵为[(0,1),(2,1)],向量为（1,0）’,相乘之后向量变成了（0,2）’。进行了旋转和拉伸。但是，如果向量刚好是矩阵的特征向量的时候，矩阵只会对向量有缩放的效果，不会有旋转。 2、SVD分解 一个矩阵，可以分解成三个矩阵相乘的形式。 U和V都是酉矩阵，即 Σ是一个对角阵。所以也可以从SVD的角度来理解矩阵和向量乘法的一个物理意义。U,V值会对向量进行旋转变换，而Σ
【三维点云数据处理】ISS3d+CSHOT+RANSAC+ICP
点云兔子的博客
07-01 5362
【三维点云数据处理】ISS特征点提取算法【三维点云数据处理】SHOT三维特征描述子【三维点云数据处理】RANSAC实现点云粗配准 利用ISS3d+CSHOT+RANSAC+ICP来实现点云的配准。前面已经将ISS3D、SHOT三位特征描述子、RANSAC粗配准都进行了讲解，接下来将这些结合起来实现点云的粗配准，最后使用ICP进行优化，最终实现点云的配准。一、算法原理 首先利用ISS3D算法找到点云P和点云Q的关键点，ISS3D具有旋转不变性的特点，所以理论上两幅点云的相同特征具有
点云处理——PCA主成分分析
qq_34729374的博客
12-27 1734
这位大佬讲的很好。在这里引用一下。/ 三维点云处理：2 PCA(Principle Component Analysis主成分分析)和K-PCA
点云学习【1.1】PCA
m0_45868903的博客
09-28 702
PCA算法可以降低数据量，且最大程度保持原有信息，因此PCA算法在机器学习算法中得到广泛应用。 PCA算法流程：1 计算数据平均值。2 数据归一化（减掉平均值）。3 构造H矩阵。4 SVD分解。5 最大特征值对应特征向量为第一主成分，以此类推。 话不多说，直接上代码 import open3d as o3d import numpy as np from pyntcloud import PyntCloud from pandas import DataFrame def PCA(data,correla
pcl点云pca降维投影
05-24
PCA（Principal Component Analysis）主成分分析是一种常用的数据降维方法，可以将高维数据投影到低维空间中。在点云处理中，PCA可以应用于点云的降维投影，将原始的高维点云数据投影到一个低维空间中，并且保留原始点云数据中的主要特征。 下面是使用PCL库进行点云PCA降维投影的一些步骤： 1. 读取点云数据 使用PCL库提供的PointCloud接口读取点云数据。 ```cpp pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>); pcl::io::loadPCDFile("pointcloud.pcd", *cloud); ``` 2. 计算点云的协方差矩阵 使用PCL库提供的计算协方差矩阵的函数，计算点云的协方差矩阵，从而得到点云的主成分。 ```cpp pcl::PCA<pcl::PointXYZ> pca; pca.setInputCloud(cloud); Eigen::Matrix3f covariance = pca.getCOVarianceMatrix(); ``` 3. 计算点云主成分 通过计算协方差矩阵的特征值和特征向量，可以得到点云的主成分。 ```cpp Eigen::SelfAdjointEigenSolver<Eigen::Matrix3f> eigen_solver(covariance, Eigen::ComputeEigenvectors); Eigen::Matrix3f eigenvectors = eigen_solver.eigenvectors(); ``` 4. 将点云投影到主成分上 将点云数据投影到主成分上，得到点云在主成分上的投影值。 ```cpp pcl::PointCloud<pcl::PointXYZ>::Ptr cloud_projected(new pcl::PointCloud<pcl::PointXYZ>); pca.project(*cloud, *cloud_projected); ``` 5. 保存点云投影数据 最后，将点云在主成分上的投影数据保存到文件中。 ```cpp pcl::io::savePCDFile("pointcloud_projected.pcd", *cloud_projected); ``` 以上就是使用PCL库进行点云PCA降维投影的主要步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值