- 博客(640)
- 资源 (1)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 【深度学习】迭代次数 vs bs? 迭代次数 vs epoch
迭代次数和批次大小的关系每次迭代处理一个批次（batch size）的样本。一个周期内的迭代次数等于训练集的样本数量除以批次大小。
2024-08-29 15:32:53
575
原创 【深度学习】过拟合
在深度学习中，过拟合通常是指模型在训练集上表现良好，但在验证集或测试集上表现不佳。这意味着模型已经学到了训练数据中的噪声和细节，而不是学习到了数据的普遍模式。当发生过拟合时，验证集的loss（损失）通常会上升，而训练集的loss会继续下降或保持在较低水平。具体来说：- **训练集的loss下降**：模型在训练数据上变得越来越好，能够准确地预测训练数据，损失值不断降低。- **验证集的loss上升**：尽管模型在训练数据上表现良好，但在验证数据上表现变差，损失值开始上升。这是因为模型开始记住训练数据
2024-08-22 14:40:10
285
原创 【计算机视觉】Yolov7目标函数
边界框损失: 关注的是预测框与真实框在位置和尺度上的差异，确保预测的边界框能够精确地包围目标。目标检测损失: 关注的是模型对目标存在与否的置信度判断，确保模型能够正确识别出目标的存在。分类损失: 关注的是预测的目标类别与真实类别的匹配程度，确保模型能够准确地分类目标。在YOLOv7的训练过程中，这些损失共同作用，指导模型优化其参数，以提高目标检测的整体性能。模型的总损失通常是上述各项损失的加权和，通过调节各项损失的权重，可以平衡不同损失对模型训练的影响。
2024-08-22 14:39:21
565
原创 【深度学习】BS与GPU显存的关系
增大 batch size 使得一个 epoch 所能进行的优化次数变少，收敛可能变慢，从而需要更多时间才能收敛（比如 batch_size 变成全部样本数目）参考链接：https://blog.csdn.net/lien0906/article/details/78863118。显存占用不是和 batch size 简单成正比，模型自身的参数及其延伸出来的数据也要占据显存。显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用。时间更宝贵，尽可能使模型变快（减少 flop）
2024-08-13 13:36:18
180
原创 【计算机视觉】Yolov7目标函数
边界框损失: 关注的是预测框与真实框在位置和尺度上的差异，确保预测的边界框能够精确地包围目标。目标检测损失: 关注的是模型对目标存在与否的置信度判断，确保模型能够正确识别出目标的存在。分类损失: 关注的是预测的目标类别与真实类别的匹配程度，确保模型能够准确地分类目标。在YOLOv7的训练过程中，这些损失共同作用，指导模型优化其参数，以提高目标检测的整体性能。模型的总损失通常是上述各项损失的加权和，通过调节各项损失的权重，可以平衡不同损失对模型训练的影响。
2024-08-08 17:38:08
497
原创 【深度学习】FPS
FPS是衡量系统处理和显示速度的一个关键指标，表示每秒钟能够处理或显示的帧数。高FPS带来更流畅的视觉体验和更高的系统性能，广泛应用于视频播放、游戏、图像处理和实时视频分析等领域。理解和优化FPS对于提升用户体验和系统效率至关重要。看完我发现FPS的计算公式和QPS好像一样。我又问了一下。Q: QPS和FPS的计算方式一样吗？QPS（Queries Per Second，每秒查询数）和FPS（Frames Per Second，每秒帧数）都是衡量系统性能的指标，但它们适用于不同的场景。
2024-08-02 11:03:15
931
原创 【大模型】chat/completions和completions区别
端点适用于单次文本补全任务，通常用于连续文本生成。端点适用于多轮对话生成任务，提供更自然的对话体验。选择哪个端点取决于你的具体需求。如果你需要生成连续的文本，端点可能更合适。如果你需要处理多轮对话，端点会更适合。
2024-07-31 19:50:28
734
原创 【深度学习】GPU节点
计算节点一个计算节点是集群中的一个独立计算单元，通常包含一个或多个CPU、内存、存储和网络接口。计算节点可以单独运行任务，也可以与其他节点协作完成并行计算任务。GPU节点一个GPU节点不仅包含上述的CPU、内存等组件，还额外配备了一个或多个GPU卡。GPU卡用于加速计算任务，特别是那些可以并行处理的任务，如深度学习训练、科学计算、图像处理等。
2024-07-30 18:36:57
450
原创 【深度学习】NLP评估指标——ROUGE
ROUGE评估NLP任务的时候，分值是越大越好还是越小越好，以及ROUGE最大能达到多少?GPT4O在自然语言处理（NLP）任务中，ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一种常用的评估指标，特别是在文本摘要和机器翻译等生成任务中。
2024-07-30 17:27:05
537
原创 【深度学习】关于模型加速
将模型转为半精度（FP16）确实可以加快推理速度，并减少显存的使用。这种优化特别适用于现代GPU，并且在推理阶段通常不会显著影响模型的性能。然而，在进行这种转换时，需要考虑硬件和软件的兼容性，以及可能的数值精度损失。将模型转换为TensorRT可以显著加速推理过程，主要通过图优化、精度优化、内存优化、高效内核实现、动态张量优化、批处理优化和异步计算等技术手段实现。这些优化措施充分利用了现代GPU的计算能力和内存带宽，显著提高了推理速度和效率。
2024-07-11 21:14:41
646
原创 【Linux】PATH和LD_LIBRARY_PATH的区别
目的PATH用于查找可执行文件，而用于查找动态链接库。影响对象PATH影响命令的查找和执行，影响程序运行时动态库的查找和加载。使用场景PATH更多地关注于用户和系统的交互，即如何快速找到并执行用户请求的命令；更多地关注于程序的运行时环境，即程序运行时如何找到它需要的动态链接库。了解这两个环境变量的区别对于有效地配置和管理Linux和类Unix操作系统的环境非常重要，可以帮助确保命令和程序能够正确地找到它们需要的资源。总的来说，.so。
2024-06-27 20:49:28
1082
原创 【深度学习】GPU版本
总的来说，NVIDIA GPU的驱动版本和CUDA版本之间的关系是基于兼容性和性能优化的。选择正确的CUDA版本和相应的驱动版本对于开发和运行基于CUDA的应用程序至关重要。通常，更新的驱动版本提供了对最新CUDA版本的支持，以及性能和安全性的改进。看完，不知所云。总的来说，nvidia-smi展示的cuda版本也不一定是真实运行的cuda版本，还和驱动有关系。可以看看nvidia-smi和nvcc -v。
2024-06-27 20:30:06
491
1
原创 【工程实践】MQ中rebalance机制
问题起因，有些分区积压严重，有些分区又是空闲。之前了解过rebalance机制，想知道在这种情况下rebalance机制为什么不触发，从而将积压的数据匀给空闲的分区。问了gpt，“mq的rebalance功能能否保证每个分区在同一时间段保持均衡的消费量？消息队列（MQ）的rebalance（重新平衡）功能主要设计用来在消费者组内部动态分配消息分区，以确保所有消费者都有工作负载。当新的消费者加入消费者组、现有消费者离开组或者分区数发生变化时，rebalance会触发。
2024-06-27 19:12:18
626
原创 【深度学习】记录为什么没有调用GPU
排查CLIP为什么评测推理没有调用GPU，因为model并没有to.cuda()。主要是这个代码：https://github.com/OFA-Sys/Chinese-CLIP/blob/master/cn_clip/eval/extract_features.py在使用图像模型提取图片特征时，GPU利用率为0可能是由于多种原因导致的。
2024-06-21 11:15:22
1238
原创 【实践】部署时GPU与CPU
尽管GPU在深度学习计算中发挥了关键作用，但CPU在数据预处理、任务调度、系统管理和数据传输等方面同样不可或缺。因此，部署深度学习服务需要同时申请GPU和CPU资源，以充分利用它们各自的优势，确保服务的高效和稳定运行。
2024-06-14 16:30:30
312
原创 【CV】stable diffusion初步理解
在Stable Diffusion中，“latent”就是指图像的简化表示。模型通过在这个简化的空间中进行操作，逐步还原出高质量的图像。这个过程不仅提高了效率，还能生成更好的图像。
2024-06-11 16:52:02
858
原创 【机器学习】分值融合方法
为了合理地融合图片和文本的预测分数，可以考虑归一化两者的分数，然后使用加权平均、直接相加或相乘的方法进行融合。如果需要更高的预测精度，可以使用集成学习或神经网络等更复杂的模型进行融合。在实际应用中，需要根据数据的具体情况和模型的性能来选择最合适的方法。
2024-05-29 11:49:28
695
1
原创 【Git】git将分支合并进master
在Git中，将分支合并进master（或任何其他分支）是一个常见的操作，用于将从分支中开发的新功能、修复或更新集成到主线上。以下是将一个分支合并进master。
2024-05-23 19:48:10
2777
原创 【Python】全局变量与init的区别
总的来说，全局变量在某些情况下可能是有用的，例如，对于跨多个函数和类共享的常量。然而，为了更好的封装和代码组织，通常建议尽可能地在类的。方法中初始化数据，这样可以利用面向对象编程的所有优势，包括封装、继承和多态。一个脚本里，设置全局变量，和初始化类时__init__中加载，有什么区别？在Python脚本中，使用全局变量和在类的。
2024-05-23 19:44:01
400
原创 miniconda3安装window 无法pip
3.配置环境变量：%HOMEPATH%\pip\pip.ini添加到path中。安装以上路径，将tcp/ipv6关了。然后重启电脑就好了。1.进入命令行，在当前用户目录下创建pip文件夹。只要添加后面两个就行。
2024-05-11 16:20:50
977
1
原创 LLM理解v1
在LLM（Large Language Models，大型语言模型）的领域中，RAG代表“Retrieval-Augmented Generation”，即“检索增强生成”。RAG是一种结合了检索（Retrieval）和生成（Generation）的机制，用于提升语言模型在特定任务上的表现，特别是那些需要广泛背景知识的任务。检索阶段：当模型接收到一个问题或查询时，它首先会在一个大型的文档数据库中检索相关的信息。这个数据库可以是维基百科、书籍、文章或其他任何形式的文档集合。生成阶段。
2024-04-18 10:33:15
606
原创 【Python】正则
以下字符都需要用反斜线（\）来进行特殊字符的转义。\n - 换行符\t - 制表符\ - 反斜线本身. - 点号（任意单个字符）星号（0次或多次重复前面的元素）加号（1次或多次重复前面的元素）?- 问号（零次或一次重复前面的元素）[] - 方括号内的任何字符集合() - 分组操作符{} - 花括号内指定数量的重复次数起因，python正则匹配，从'你好aaa+'匹配‘aaa+’，我就想完整的匹配aaa+，但是实际效果是'你好a'这种的也能匹配上。
2024-03-06 15:34:05
704
原创 GradNorm理解
gradnorm在单个batch step的流程总结如下：整体任务是指L=w_aL_a+w_bL_b， W是神经网络的参数值， gradnorm主要在动态学w_a, w_b；
2023-12-13 15:48:06
8700
1
原创 【推荐系统】AITM笔记
Expert-Bottom 模式的主要思想是控制 Expert 模块如何在多任务模型底部的所有任务之间共享，而 Tower 模块 顶部分别处理每个任务。为 [0.025%, 0.05%, 0.125%, 0.25%, 0.5%, 1%, 2.5%, 5%]，1. 如果受众目前没有申请信用卡，并不意味着他们将来不会申请该卡，所以我们不能使用太多的负样本进行训练。我们对 𝑎𝑐𝑡𝑖𝑣𝑎𝑡𝑖𝑜𝑛 负样本进行下采样，以保持训练集中正样本的比例 𝜆 分别。weight: 用户本身价值，以及用户对业务的价值。
2023-11-10 16:48:06
733
原创 【Leetcode】各结构的时间复杂度
二分法就是把一个数据规模为N的先分为N/2，然后再分为N/4,N/8,N/16…一直等分到N/y =1的时候就不分了，现在我们来考虑下，到底分多少次才能把规模为N的数据分到结果为1，这里假设为x次，这个x就是次数，也是我们用大O表示法表示的时间复杂度，我们只需要把x取到就可以了。二叉树的高度：二叉树的高度是从叶节点开始（其高度为1）自底向上逐层累加的。二叉树的深度：二叉树的深度是从根节点开始（其深度为1）自顶向下逐层累加的。因此二分法的时间复杂度就是O(logN)二叉树时间复杂度：O(n)
2023-11-09 17:39:13
598
原创 【机器学习】XGB/LGBM
XGBoost的decision tree用的是pre-sorted based的算法，也就是在tree building之前对各维特征先排序，代表性的算法是SLIQ和SPRINT。SLIQ和SPRINT算法的特点决定了树生长的方式是level-wise(breadth-first)的。而LightGBM的decision tree是histogram based的算法，也就是先将特征离散化，代表性的算法是CLOUDS,Mcrank和Machado。即采用leaf-wise的方式。
2023-11-05 23:46:21
474
原创 【Python】多进程线程与CPU核数
多进程数量设置为CPU核数，或者略小于CPU核数；多线程数量，如果是CPU密集任务设为1；如果是IO密集设为合理的值；
2023-11-03 14:37:45
5224
3
原创 【pyspark】expected zero arguments for construction of ClassDict
net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict (for json.decoder.JSONDecodeError)
2023-10-31 17:54:12
584
原创 【Spark】配置参数关系-重要
eg：资源配置10个Executor节点，每个节点2个Core，那么同一时间可以并行计算的task数为20，如果RDD有2个分区，那么计算时只使用2个Core，其余18个Core空转，浪费资源，每个Executor中的一个Core（线程，虚拟核数）同时只能执行一个Task，所以Spark调优中会通过增大RDD分区数，增大任务并行度来提高效率。并行度指所有Executor可以同时执行的Task数，如果RDD有100个分区，那么需要5轮计算完毕，
2023-10-27 16:32:02
1117
原创 libGL.so.1: cannot open shared object file: No such file or directory
解决ImportError libGL.so.1
2023-10-23 11:54:13
5176
原创 【Interview】拟牛顿求一个数的平方根
初始化选A点，求切线，与x轴交点 A′ ,改点横坐标 对应B点，再求切线，与x轴交点 B′ ,之后一直进行，会迭代到曲线与x轴的交点。，逐渐迭代收敛到一个数的平方根。我们要求m的平方根，构造函数。牛顿迭代法的思路是通过。
2023-10-17 11:50:51
220
原创 【推荐算法】ctr cvr联合建模问题合集
ctr和cvr分开建模相比ctcvr的优势？总结：1、ctr的数据可以试试获取，能实时训练。但是cvr存在延迟现象，样本更新慢。一起训练容易出现跷跷板现象。2、分开建模可以输出2个指标，便于调控。3、CTR肯定是需要单独建模的，因为它影响用户的长期的，也影响未来。CTCVR低，不代表用户不喜欢，也可能是因为其他原因（比如没钱，这个很容易建模，拿用户过去消费的金额，与当前商品的，一比就能知道）
2023-10-16 19:30:51
1922
计算机图形学纹路和隐藏面
2015-10-29
安卓开发怎么与服务器进行连接
2015-10-27
opengl怎么把图片由平铺改为填充
2015-10-21
关于asp网页的显示问题
2015-10-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人