数据与后端架构提升之路
没人会把我们变的越来越好,时间也只是陪衬。支撑我们变的越来越好的是我们自己不断进阶的才华,修养,品行以及不断的反思和修正
展开
-
深度学习模型训练优化:并行化策略与参数拆分技术
本文探讨了深度学习训练中用于提高训练速度和降低硬件要求的两种并行化策略:张量并行和流水线并行。张量并行通过在多个处理单元上分割单个网络层的计算来实现并行,而流水线并行则通过将模型的不同层分配到不同的处理单元来实现模型级的并行处理。文章还介绍了垂直拆分和水平拆分大模型参数的方法,这两种拆分策略分别针对特征维度和数据样本的分布式处理,提供了优化计算资源和提高训练效率的有效途径。原创 2024-04-25 10:28:00 · 199 阅读 · 0 评论 -
【Kaggle比赛】DFL 德甲足球事件检测大赛(CV·目标检测-视频分类)
在这场足球事件检测比赛中,参赛者需要开发一个计算机视觉模型,目标是自动识别和分类长视频中的传球、掷界外球、传中球以及挑战等事件。这将有助于从未探索的比赛和训练课程中自动化地收集数据。比赛要求提交的解决方案必须在笔记本电脑上运行,且运行时间有限制。允许使用公开数据和预训练模型。参赛者需要处理视频,抽取帧,进行图像分类,并可能使用数据增强技术如Albumentations库来提高模型的泛化能力。集成不同模型,如YOLO和DeepSORT,可以提高检测和跟踪的准确性。最终,参赛者需要将检测到的事件及其时间戳保存到原创 2024-04-10 09:28:05 · 156 阅读 · 1 评论 -
数据挖掘比赛比较基础的baseline
本文综述了三种流行的梯度提升决策树(GBDT)库:LightGBM、XGBoost和CatBoost,强调了它们在处理大规模数据集、分类特征优化和数值计算加速方面的特点与应用。同时,文章探讨了模型参数调优的原则、模型验证方法,以及使用Numba和CuPy进行高效数值计算的技术。这些内容为机器学习从业者在选择合适工具和优化模型性能提供了宝贵的指导。原创 2024-04-01 23:47:08 · 664 阅读 · 2 评论 -
揭秘大模型「幻觉」:数据偏差、泛化与上下文理解的挑战与解决之道
本文深入探讨了大型语言模型(LLM)产生「幻觉」现象的原因,包括数据偏差、过度泛化和上下文理解不足,并提出了针对性的解决策略,如改进训练数据、模型微调和上下文增强等,以期提升模型的准确性和可靠性。原创 2024-01-06 21:52:56 · 1164 阅读 · 0 评论 -
RAG框架LlamaIndex核心——各种索引应用分析
LlamaIndex 是一个大型语言模型(LLM)的数据框架,它提供了数据摄取、数据构建、检索和查询接口以及与其他框架集成的工具。LlamaIndex 可以帮助用户轻松地将现有的数据源和格式(如 API、PDF、文档、SQL 等)与 LLM 结合使用。它提供了多种索引类型,如列表索引、向量索引、树索引和关键字表索引,以便更好地组织和检索相关信息。原创 2023-12-22 20:23:19 · 2563 阅读 · 0 评论 -
基于局域网和广域网训练推理加速策略
TensorFlow 的 MirroredStrategy 和 PyTorch 的 DistributedDataParallel 它们可以帮助您在多个 GPU 或多个计算节点上训练大型模型。Petals 适用于那些希望优化深度学习模型推理和微调的场景,尤其是当单一设备无法高效处理这些大型模型时。原创 2023-12-18 18:43:54 · 878 阅读 · 0 评论 -
深入剖析开源大模型+Langchain框架智能问答系统性能下降原因
使用 Question-Answer (embedding Retrieval) 作为召回排序是性能不佳最根本的原因,开源的中文 embedding 模型在 Retrieval 任务上表现不佳。模型输入 tokens 限制导致候选的 chunks 数量少于 openAI 模型近一倍,是整体准确率低于 openAI 全家桶的一个重要原因。模型自身在阅读理解与总结任务上的不足,也对整体性能有一定的影响。原创 2023-12-14 22:54:47 · 1186 阅读 · 0 评论 -
LainChain 原理解析:结合 RAG 技术提升大型语言模型能力
angChain使用RAG技术来增强大型语言模型(如GPT、ChatGPT等)的能力。通过结合检索器和语言模型,LangChain能够在回答问题时提供更加事实一致的答案,并给出知识来源。这种方法特别适用于知识密集型的任务,如回答复杂问题或进行事实验证。原创 2023-12-08 00:23:27 · 1271 阅读 · 0 评论 -
Ray构建GPU隔离的机器学习平台
Ray框架介绍Ray框架介绍Ray 是一个开源分布式计算框架,在 机器学习基础设施中发挥着至关重要的作用。Ray 促进分布式机器学习训练,使机器学习从业者能够有效利用多个 GPU 的能力。Ray可以在集群上分布式地运行任务,并且可以指定任务运行时需要使用的GPU数量。原创 2023-12-07 20:57:07 · 1272 阅读 · 0 评论 -
OpenAi Q* (Q Star)项目入门介绍
Q-learning 是强化学习的一种,它是一种通过奖励计算机做出正确决策并有时惩罚它们做出错误决策来教导计算机学习的方法。原创 2023-11-27 12:45:22 · 1503 阅读 · 0 评论 -
大模型微调技术
Adaper-Tuning,LORA,Prefix-Tuning原创 2023-11-25 13:33:57 · 414 阅读 · 0 评论