项目实训第一周记录

前言

项目立项后，我们小组进行了分工，我负责我负责项目的点云图可视化开发部分，最终目标能够实现脱离ROS平台的、高速的可视化渲染，并能够整合到我们团队开发的智能车系统上。（这部分原本是由RVIZ实现的，但由于要脱离ros，只能自己实现一个可视化框架）。

工作内容

2022.2.27

决定将这个项目定为一个C++的工程项目，在Ubuntu上进行开发。于是在gitee建立了项目 项目地址，进行了规范化项目建立。
然后对项目进行了初步的构思，通信（接收数据）采用数据包、订阅话题实时传输两种方式。前期测试采用数据包的方式，最后整合订阅话题模块。

2022.2.28

由于我对要做的方向还是一片空白，打算研究一下RVIZ的相关源码，来了解一下其是如何实现渲染的。
rviz源码，最终发现其点云图渲染部分位于
此文件内，仔细越读了一下，发现难以读懂，感觉想要仿照rviz建立一个类似的项目对现阶段的我来说非常困难。不过也不说没有收获，发现其底层的渲染引擎为OGRE，是一个开源的渲染引擎。
然后我又去研究了一下LIO-SAM的相关源码LIO-SAM源码，发现其中设计到点云的部分调用了pcl相关的函数，于是我搜索了一下pcl的信息，发现这是一个非常成熟的点云库，包含非常多的点云算法，以及可视化（正是我所需要的），于是初步打算在pcl的基础上进行开发。

2022.3.1

初步学习了pcl，了解了其中的几大模块，其中对我最重要的部分就是可视化模块，但我找了很多相关的示例代码，发现了一个致命的问题，他们都是通过读取pcd文件中的数据直接将整个点云图渲染出来，而lvi-sam调用rviz渲染的部分是跟随小车扫描的点云图实时渲染的，是动态的，这使得我对pcl能否渲染出我想要的效果产生了疑惑。于是我和其他队员进行了讨论，对究竟采取pcl进行渲染还是OGRE等3D引擎进行渲染进行了分析，结果是从0开始学习相关的3D引擎并渲染出点云图的学习成功过高，最好还是采用pcl进行渲染，于是我打算明天写一个demo，看看pcl究竟能否进行动态实时渲染。

2022.3.2

在虚拟机上安装了pcl的相关开发环境（由于前置库比较多，老是失败，花费了挺久时间的）
根据教程，做了一个demo，但是由于教程并没有动态渲染相关的部分，于是我查阅了pcl的类库，发现了Visualization的相关方法中有一个addPointCloud的方法，其能够添加并渲染新的点云，于是我尝试着将这个方法融入到之前写的demo中，效果如下：

由于不方便放视频，我只得放一个单一的图片。这个图片中的兔子是网上的点云图数据，而那一条黑线是有很多个小球构成的，每循环一帧，就会增加一个小球上去（最开始一个球都没有），视觉上看就是动态延长的一条线，意味着pcl是具有动态渲染的能力的，这也使得我最终确定了在pcl的基础上进行开发！

#include <pcl/visualization/cloud_viewer.h> //类cloud_viewer头文件申明
#include <iostream>                         //标准输入输出头文件申明
#include <pcl/io/io.h>                      //I/O相关头文件申明
#include <pcl/io/pcd_io.h>                  //PCD文件读取

 //回到函数，在main中注册后每帧刷新都会执行，这里也是我进行动态渲染的地方
void viewerPsycho(pcl::visualization::PCLVisualizer &viewer)
{
    static unsigned count = 0;
    std::stringstream ss;
    ss << "Once per viewer loop: " << count++;
    viewer.removeShape("text", 0);
    viewer.addText(ss.str(), 200, 300, "text", 0); // 添加文字
	
	//动态渲染小球
	pcl::PointXYZ ball;                          //存储球的圆心位置
    ball.x = count;//用计数代替小球横坐标，从而让小球沿x方向增长
    ball.y = 0;
    ball.z = 0;
    viewer.addSphere(o, 0.25, "sphere", 0); 
    
}

  //首先加载点云文件到点云对象，并初始化可视化对象viewer，注册上面的回调函数，执行循环直到收到关闭viewer的消息退出程序
int main()
{
    // 创建点云渲染对象，导入待渲染文件
    pcl::PointCloud<pcl::PointXYZRGBA>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZRGBA>); //声明cloud
    pcl::io::loadPCDFile("../../data/rabbit.pcd", *cloud);                                        //加载点云文件

    //创建点云渲染句柄
    pcl::visualization::CloudViewer viewer("Cloud Viewer"); //创建viewer对象
    //showCloud函数是同步的，在此处等待直到渲染显示为止
    viewer.showCloud(cloud);


    //该注册函数在渲染输出时每次都调用
    viewer.runOnVisualizationThread(viewerPsycho); //需要每轮渲染的业务逻辑可以放在viewerPsycho
    //现在的业务逻辑仅仅是完成用户数据的单调增加，此处还可以完成更多丰富的操作。

    while (!viewer.wasStopped())
    {
    }
    return 0;
}

其实运行这个代码成功率并不高，经常报线程错误，经过查阅资料才发现cloud_viewer这个类其实是不支持多线程的，以后应该采用更强大的visualizer进行开发。

2022.3.3

经过昨天验证了pcl的可行性后，我思考了大体的开发思路，并将思路写成了开发文档，放在了项目的doc文件夹中（仓库中可以直接查看，我就不必放在这里了）。

2022.3.4

继续构思开发思路，完善开发文档，建立项目的大体框架。

2022.3.5

因为小车会运动，因此用相机模拟小车的位置，需要了解如何设置相机位置的运动。
经过查阅类库，发现了相机位置的设置方法：
void pcl::visualization::PCLVisualizer::setCameraPosition
其参数如下：

参数名	描述
pos_x	相机位置的x坐标
pos_y	相机位置的y坐标
pos_z	相机位置的z坐标
view_x	相机视点的x分量
view_y	相机视点的y分量
view_z	相机视点的z分量
up_x	相机的向上视图方向的 x 分量
up_y	相机的向上视图方向的 y 分量
up_z	相机的向上视图方向的 z 分量
viewport	修改相机的viewport，如果为0则修改所有相机，默认为1

由于不了解这些参数的具体作用，我决定编写一个demo来输出相机的相关参数（鼠标移动相机位置，添加按键回调，每次按键都会输出相机的参数，从而方便我进行对比）。

#include <pcl/io/pcd_io.h>
#include <pcl/visualization/pcl_visualizer.h>
// 回掉函数所用数据结构
pcl::visualization::PCLVisualizer::Ptr viewer(new pcl::visualization::PCLVisualizer);
struct callback_args {
	bool *isShow;
	pcl::PointCloud<pcl::PointXYZ>::Ptr orgin_points;
	pcl::visualization::PCLVisualizer::Ptr viewerPtr;
};
// 按键事件回调函数
void kb_callback(const pcl::visualization::KeyboardEvent& event, void* args)
{
	if (event.keyDown() && event.getKeyCode() == 'a')
	{
		//每次按键输出相机的参数
		struct callback_args* data = (struct callback_args *)args;
		pcl::visualization::Camera camera;
        	viewer->getCameraParameters(camera);
		cout<<"posx "<<"posy "<<"posz "<<endl;
		cout<<camera.pos[0]<<" "<<camera.pos[1]<<" "<<camera.pos[2]<<endl;
		cout<<"viewx "<<"viewy "<<"viewz "<<endl;
		cout<<camera.view[0]<<" "<<camera.view[1]<<" "<<camera.view[2]<<endl;
		cout<<"focalx "<<"focaly "<<"focalz "<<endl;
		cout<<camera.focal[0]<<" "<<camera.focal[1]<<" "<<camera.focal[2]<<endl;
		
	}
}
int main(int argc, char** argv)
{
	pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>);
	pcl::io::loadPCDFile("../../data/rabbit.pcd", *cloud);
	pcl::console::print_highlight("load cloud !\n");

	viewer->addPointCloud(cloud, "cloud");
	// 初始化参数
	bool isShow = true;
	struct callback_args kb_args;
	kb_args.isShow = &isShow;
	kb_args.orgin_points = cloud;
	kb_args.viewerPtr = viewer;
	// 设置回调函数
	viewer->registerKeyboardCallback(kb_callback, (void*)&kb_args);
	viewer->spin();
	return 0;
}

效果图，通过移动相机视角，我可以得到移动相机后，相机参数的变化，从而得到一个大致的规律：相机的平移，对应其pos参数的变化，x为左右，y为上下，z为前后；而相机的旋转会导致所有参数都发生变化（这里规律不太明显，还需要后续的研究）

2022.3.6

由于暂时缺少数据，决定今天暂停一天，等到下周和其他组员对接一下数据接口，再继续进行开发。
汇总了我这一周的工作内容，整理成博客。