- 博客(47)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 vscode配置Latex+SumatraPDF
原本使用Overleaf写毕业论文，最近发现内容过多时会出错，项目超过了我们免费计划的编译超时限制，因此考虑使用vscode配置latex环境，为了显示方便，使用SumatraPDF查看器。
2024-03-18 16:45:59
1472
原创 大模型微调总结1-总览
参数高效微调（Parameter-efficient fine-tuning）是指微调少量或额外的模型参数，固定大部分预训练模型（LLM）参数，从而大大降低了计算和存储成本，同时，也能实现与全量参数微调相当的性能。参数高效微调方法甚至在某些情况下比全量微调效果更好，可以更好地泛化到域外场景。这也是现在主流的微调方法。高效微调技术可以粗略分为以下三大类：增加额外参数（A）、选取一部分参数更新（S）、引入重参数化（R）。
2023-12-27 11:12:04
1049
原创 详解知识蒸馏原理和代码
知识蒸馏是一种模型压缩的有效解决方案；总的来说，学生模型通过蒸馏训练来获取教师知识，小模型学习到了大模型的泛化能力，保留了大模型的性能，同时降低了模型的大小和复杂性，模型更轻量易于部署。
2023-05-24 20:32:06
2323
1
原创 Pytorch中易混淆的损失函数与激活函数【softmax, log_softmax, NLLLoss, CrossEntropy】
softmax：将一个数值序列映射到概率空间（每个元素分布并且所有和为1）：在softmax的基础上取对数NLLLoss：对log_softmax与one-hot进行计算：衡量两个概率分布的差别（交叉熵）在分类问题中，CrossEntropy等价于log_softmax 结合 nll_loss。
2023-05-24 19:53:20
1448
原创 深入理解2D卷积和3D卷积
在项目中用到了conv3但是对其背后的原理还有一些模糊的地方，conv2d与多通道的conv2d的区别在哪里？conv3d的思想理论是什么？对此进行探究和记录...... 首先要明确多通道的2d卷积和3d卷积是不一样的，3d是可以在通道中移动的，2d不可以
2023-05-16 21:03:09
3046
原创 I3D--视频理解必读论文总结
在视频理解领域，I3D是一篇不得不读的文章，在他之前，当时人的解决方案大多数是以双流网络为主进行视频分类。在UCF-101和HMDB-51数据集上进行测试对比结果，当I3D提出之后，基本上将UCF-101和HMDB-51数据集刷到顶峰了，同时，使得3DCNN在视频理解领域大放异彩，直到近几年VIT的出现，才有新的方向对视频理解领域进行推进；I3D也提出了一个新的数据集--Kinetics Dataset，之后的方法都需要在这个数据集上进行对比。
2023-05-16 20:46:02
990
原创 机器学习中的相关概念【监督，半监督，无监督，弱监督，自监督】
机器学习中大体可以把任务分为监督学习，无监督学习。在我们的学习和资料查阅中会出现，半监督，自监督，弱监督这样的词汇，让人心生疑惑，在此进行一个梳理。以上各个概念的分类并不是严格互斥的。
2023-05-15 20:57:30
755
原创 深入了解梯度消失与梯度爆炸
本文探讨深度学习中经常会提到的概念–梯度消失与梯度爆炸。他们是影响模型收敛，学习好坏的一个重要因素，对此现象也提出了对应的解决方案。在此记录其概念，原因和相关的解决方案，仅供参考。
2023-05-12 20:36:11
825
原创 总结常见评价指标
整理一下在机器学习中常见的评价指标，包括：- 混淆矩阵，TPR，FPR，TNR，FNR；- Precision，Recall，Accuracy，F-score(F1-meature)- ROC曲线，AUC；
2023-05-09 20:50:13
727
原创 PointAugmenting: Cross-Modal Augmentation for 3D Object Detection总结
现状：相机和 LiDAR 是两个互补的传感器，用于自动驾驶环境中的 3D 物体检测。摄像头提供丰富的纹理和颜色提示，而激光雷达则专注于相对距离感应。问题： 3D 目标检测的挑战在于有效融合 2D 相机图像与 3D LiDAR 点。
2023-02-19 19:38:52
617
原创 Leetcode 121 买卖股票的最佳时机
简单题股票交易类问题通常可以使用动态规划来解决，稍微复杂一些的股票交易问题【比如需要冷却时间或者交易费用】，可以使用动态规划实现的状态机解决。
2023-02-16 22:05:05
43
原创 Leetcode 72 编辑距离【动态规划】
困难题属于动态规划中的字符串编辑问题；这一类方法一般是定义一个二维数组，i表示处理到第一个序列的第i个元素为止，j表示处理到第二个序列的第j个元素为止的最佳匹配。
2023-02-16 13:06:27
31
原创 DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection总结
现状：激光雷达和摄像头是关键传感器，可为自动驾驶中的 3D 检测提供补充信息。问题：流行的多模式方法是简单的利用相机特征对原始激光雷达点云做decorate，但我们的研究表明，比起原始的数据，直接将相机的特征和深度雷达特征做融合可以达到更好的效果；然而由于这些特征经常被增强和聚合，融合的一个关键挑战是如何有效对齐两者模态转换后的特征。
2023-02-12 21:07:47
852
1
原创 Python3二分查找库bisect介绍
当需要查找或插入的元素不存在时，bisect_left和bisect_right、insort_left和insort_right没有区别；bisect_right返回的索引是最后1个出现元素的索引+1。
2023-02-10 14:36:39
224
原创 TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers总结
现状：激光雷达（LiDAR）和相机是自动驾驶中3D物体检测的两个重要传感器。问题：尽管传感器融合在该领域日益普及，但对较差的图像条件（如恶劣的照明和传感器未对准）的鲁棒性不足。现有的融合方法很容易受到这些条件的影响，主要是由于校准矩阵建立的激光雷达点和图像像素的硬关联。
2023-02-09 22:01:06
932
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人