Pytorch-lightning+Default Checkpoint+Hydra+Tensorboard实践 在深度学习实践中，如何构建一个系统往往需要阅读大量的开源项目、自己总结经验。这里根据我的习惯，总结了常用框架和工具链的使用逻辑。也可搜索Havard CS197系统学习。
Pytorch 显存机制 (以及为什么 x=x+1没有显存增长) 我在训练模型时，用了一个标准CrossAttn处理（N，512，200，200）的矩阵，发现每次仅仅计算attention就会把12G的显存挤爆。后边我把head缩减为1，attn的embed_dim设为16，仍然一次会申请11G左右的资源，仍然会爆炸（这些还没算优化时的继续增长）。ViT的改进也就是在于，把224*224的图片分成16*16的patch，每个patch当作一个word做pooling。例如transpose这种只改变了tensor元数据，不影响内存的操作，是不会缓存的。
pcl自定义点云类型发生undefined reference to ‘pcl::PCLBase...’错误 第一反应是链接写错了，没找到库文件，但是makefile折腾半天还是不对。在PCL显示自定义点云类型报错 undefined reference to `pcl::visualization::PointCloudGeometryHandlerXYZ＜MyPointType＞_山海里啊有星辰的博客-CSDN博客三受这篇博客启发，链接错误不代表没找到库文件，其实就代表没找到定义。类似于header-only lib的情况，还有可能是没找到头文件引起的。遂去pcl头文件下搜索pcl::PCLBas...
关注
