- 博客(1562)
- 收藏
- 关注
RSS订阅原创 VQ-VAE：矢量量化变分自编码器，离散化特征学习模型
VQ-VAE 是变分自编码器（VAE）的一种改进。这些模型可以用来学习有效的表示。本文将深入研究 VQ-VAE 之前，不过，在这之前我们先讨论一些概率基础和 VAE 架构。
2024-07-22 09:55:55
3126
原创 PyTorch Tabular：高效优化结构化数据处理的强大工具
如果你想尝试从 CatBoost 或 LightGBM 这样的传统框架适配模型，可以尝试使用 PyTorch Tabular，它不仅简化了表格处理的过程，还内建了很多深度学习模型。如果你正在寻找一种方法来提升你的表格数据处理和模型性能，PyTorch Tabular 提供了一个强大且灵活的平台，以支持从简单到复杂的各种机器学习需求。
2024-07-21 16:30:27
697
原创 多任务高斯过程数学原理和Pytorch实现示例
高斯过程其在回归任务中的应用我们都很熟悉了，但是我们一般介绍的都是针对单个任务的，也就是单个输出。本文我们将讨论扩展到多任务gp，强调它们的好处和实际实现。本文将介绍如何通过共区域化的内在模型(ICM)和共区域化的线性模型(LMC)，使用高斯过程对多个相关输出进行建模。
2024-07-20 10:45:58
4508
4
原创 使用Pytorch中从头实现去噪扩散概率模型（DDPM）
以上就是我们介绍的扩散概率模型（DDPM）的实现过程。我们首先讨论了如何为生成MNIST数据创建模型，包括将图像从默认的28x28尺寸填充到32x32，以符合原论文的标准。在优化方面，我们选择了Adam优化器，并结合指数移动平均（EMA）来提高生成质量。在模型训练部分，我们遵循了一系列明确的步骤，包括数据的噪声化、利用UNET进行预测及误差优化。我们还引入了基本的检查点机制，以便在不同的训练周期中暂停和恢复训练。
2024-07-19 10:57:13
4113
5
原创 谷歌的时间序列预测的基础模型TimesFM详解和对比测试
TimesFM提供了一种可靠的时间序列基础模型方法，可以被考虑为我们工具箱中的一部分（无脑预测一波看看效果，作为基类模型对比）。TimesFM采用了仅解码器的Transformer架构，这与许多现有时间序列模型中使用的典型编码器-解码器框架形成对比。这种设计选择简化了模型，同时在预测任务中保持了高性能。正如研究所示，与另一个成功的时间序列基础模型——TimeGPT相比，TimesFM在这个实验案例中表现更好。
2024-07-18 10:35:47
3644
原创 Pytorch的编译新特性TorchDynamo的工作原理和使用示例
TorchDynamo 是一个由 PyTorch 团队开发的编译器前端，它旨在自动优化 PyTorch 程序以提高运行效率。TorchDynamo 的工作原理是在运行时动态分析和转换 PyTorch 的代码，然后将其转发给各种后端编译器（如 TorchScript、TVM、Triton 等），从而实现性能的提升。特别是在需要实时执行的应用中，如自动驾驶或金融预测等，深度学习模型要求快速执行。传统的优化技术经常需要在处理Python的动态特性时进行修订，这正是TorchDynamo的强项所在。
2024-07-17 09:42:23
4478
2
原创 注意力机制中三种掩码技术详解和Pytorch实现
最后我们来做个总结，在自然语言处理和其他序列处理任务中，使用不同类型的掩码来管理和优化模型处理信息的方式是非常关键的。这些掩码主要包括填充掩码、序列掩码和前瞻掩码，每种掩码都有其特定的使用场景和目的。填充掩码（Padding Mask）：-目的：确保模型在处理填充的输入数据时不会将这些无关的数据当作有效信息处理。应用：主要用于处理因数据长度不一致而进行的填充操作，在模型的输入层或注意力机制中忽略这些填充数据。功能：帮助模型集中于实际的、有效的输入数据，避免因为处理无意义的填充数据而导致的性能下降。
2024-07-16 11:42:34
4234
原创 Transformer中高级位置编码的介绍和比较：Linear Rope、NTK、YaRN、CoPE
位置编码通过为每个位置分配嵌入向量并将其添加到相应的标记表示来实现这一点。绝对和相对位置编码是最常见的两种位置编码方式，但是本文将要比较更高级的位置编码方法：1、RoPE 位置编码及其变体2、CoPE
2024-07-15 10:13:17
4228
原创 Doping：使用精心设计的合成数据测试和评估异常检测器的技术
评估任何给定的异常检测器在当前数据中检测异常的效果有多好是困难的，评估其在未来（未见）数据上的表现更是难上加难。同给定两个或更多的异常检测器，评估哪个会做得更好，无论是在当前数据还是未来数据上，都非常困难。不过，我们可以使用合成数据来估计这些情况。在本文中，我们快速地回顾了一种”篡改“真实记录并评估能否将这些记录区分的方法。尽管不完美但这个方法可以在异常检测中很多时候没有其他实际的替代方法时使用。Doping方法通过人为创建异常数据点来测试和训练异常检测算法的鲁棒性。
2024-07-14 10:56:04
4240
1
原创 持续学习中避免灾难性遗忘的Elastic Weight Consolidation Loss数学原理及代码实现
我们看到了一种允许神经网络在继续学习新任务的同时保留其先前学习的知识的技术，虽然EWC在解决灾难性遗忘方面效果显著，但仍有一些挑战，例如对费雪信息矩阵的计算和存储需求较高，以及在复杂的深度神经网络结构中的实施复杂性。重播记忆（Replay Memory）：保存旧数据以便周期性地重训练。联合训练（Joint Training）：同时训练网络以处理旧任务和新任务。元学习方法（Meta-learning Approaches）：通过元学习算法来优化模型，以便快速适应新任务而不会忘记旧任务。
2024-07-13 10:58:45
3676
原创 Lookback Lens：用注意力图检测和减轻llm的幻觉
回看透镜是一个轻量级分类器，通过利用回看比率来检测上下文幻觉，回看比率仅从注意力权重中计算得出。这个分类器不仅有效地识别上下文幻觉，而且还通过从LLM的回看镜头引导解码来缓解它们。该方法可以在不同任务之间转移，甚至在映射其注意力头部后可以跨模型转移。
2024-07-12 11:13:25
4912
1
原创 LLM代理应用实战：构建Plotly数据可视化代理
AI代理可以自动化从多个数据源收集、清洗和整合数据的过程。这意味着可以减少手动处理错误，提高数据处理速度，让分析师有更多时间专注于解读数据而不是处理数据。使用AI代理进行数据可视化能够显著提升数据分析的深度和广度，同时提高效率和用户体验，帮助企业和组织更好地利用他们的数据资产。我们这里只是做了第一步，如果要制作一套代理工具还需要很多步骤，比如可视化代码的自动执行，优化提示和处理常见故障等等，如果你对这方面感兴趣，可以留言，如果人多的话我们会在后续的文章中一一介绍。作者：Arslan Shahid。
2024-07-11 10:39:53
3757
原创 统计学入门：时间序列分析基础知识详解
时间序列与时间有关，随着时间的推移观察到的数据称为时间序列数据:例如，心率监测，每日最高温度等。虽然这些例子是有规律的间隔观察到的，但也有不规则间隔观察到的时间序列数据，如盘中股票交易、临床试验等。我们将使用定期观察跨度的时间序列数据，并且只有一个变量(单变量时间序列)。从数学上我们可以这样定义时间序列:如果我们把X _l看作一个随机变量，可以定义一个依赖于观测时间t的均值和方差。对于时间序列数据，可能想要比较过去和当前的数据。所以就引出了两个基本概念，自协方差和自相关自协方差。
2024-07-10 10:53:19
4316
原创 LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
TensorRT INT8模型在推理速度上优于HF模型和TensorRT模型，而TensorRT模型在总结任务上表现更好，ROUGE得分最高。可以看到这几个推理引擎都要比使用HF模型的速度快2倍左右，这是因为HF使用的是Python和Pytorch，也没有进行任何的优化。而者4个引擎在推理速度上相差不大，差距在5%-10%左右，这是因为目前这几个引擎都是用了优化的技术，区别只是代码实现的方式不同会产生一些差距，所以在实际使用时，我们只要选择一个兼容性好（或者符合你正在使用的大语言模型）的框架就可以了。
2024-07-08 10:27:43
3945
原创 PyTorch中的多进程并行处理
PyTorch中的多线程处理可以显著提高性能，特别是在数据加载和分布式训练时使用torch.multiprocessing模块，可以有效地利用多个cpu，从而实现更快、更高效的计算。无论您是在处理大型数据集还是训练复杂模型，理解和利用多处理技术对于优化PyTorch中的性能都是必不可少的。使用分布式数据并行(DDP)进一步增强了跨多个gpu扩展训练的能力，使其成为大规模深度学习任务的强大工具。作者:Ali ABUSALEH。
2024-07-07 10:15:56
5708
7
原创 2024年6月后2周重要的大语言模型论文总结：LLM进展、微调、推理和对齐
本文总结了2024年6月后两周发表的一些最重要的大语言模型论文。这些论文涵盖了塑造下一代语言模型的各种主题，从模型优化和缩放到推理、基准测试和增强性能。
2024-07-06 11:35:26
4715
2
原创 RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡
这篇论文提出了一种新的路由框架，通过动态选择强弱大型语言模型（LLMs）来优化成本与响应质量的平衡。研究表明，大型语言模型在各种自然语言任务中表现出色，但更强大的模型成本高昂，而较弱的模型则更具成本效益。本文提出的路由模型利用人类偏好数据和数据增强技术，能够智能地在推理时选择适当的模型处理查询，从而显著降低成本，同时保持高质量的响应。路由模型的迁移学习能力也得到了验证，即使在测试时强弱模型发生变化，模型仍能保持稳定的性能表现。这主要归功于模型在训练过程中学习到的通用特性和丰富多样的训练数据。
2024-07-05 10:46:19
4103
原创 字符串相似度算法完全指南：编辑、令牌与序列三类算法的全面解析与深入分析
在本文中，我们深入探讨了三个基本算法类别：基于编辑的算法、基于令牌的算法和基于序列的算法。需要记住的重要点是：Damerau-Levenshtein和Jaro winkler距离通过编辑操作量化字符级相似度。适合强调单字符更改和更正的应用。对于拼写检查、光学字符识别、字符精确度和文本自动纠正非常有价值。Jaccard 和Sørensen-Dice相似度关注令牌集，忽略序列。对于文档聚类、抄袭检测和推荐系统有效。强调存在而非顺序，有助于分类。可用于内容分类和文档比较。
2024-07-04 11:02:03
3887
原创 使用 PyTorch 创建的多步时间序列预测的 Encoder-Decoder 模型
本文演示了使用Encoder-Decoder 模型创建多步时间序列预测的完整步骤，但是为了达到这个结果（10%），作者还做了超参数调优。并且这个模型还没有增加注意力机制，所以还可以通过探索注意机制来进一步改进模型，进一步提高模型的记忆能力，应该能获得更好的分数。作者：Gautham Kumaran。
2024-07-03 12:15:38
4750
2
原创 DeepMind的新论文，长上下文的大语言模型能否取代RAG或者SQL这样的传统技术呢?
它提示我们，在这些情境下，可能需要探索更多的优化策略或者引入新的模型架构，而不是简单地依赖增加上下文示例的数量。这种方法的引入可能会对未来的大型语言模型的开发和评估产生重要影响，尤其是在处理长上下文或复杂查询的场景中。在实际使用时 RAG的成本并不是高，因为RAG的检索的成本与大量的令牌成本基本相似，并且对于大多数工业应用来说，2M个令牌还远远不够。现有的基准测试在这方面表现不佳，它们依赖于像“大海捞针”这样的合成任务或固定长度的数据集，这些数据集无法跟上“长上下文”的不断发展的定义。
2024-07-01 10:13:41
4028
3
原创 深入解析高斯过程：数学理论、重要概念和直观可视化全解
本文讨论了高斯过程的数学理论和实际实现。当拥有少量数据时，这种技术是非常有帮助的。但是由于计算量取决于数据的数量，它不适合大数据。
2024-06-30 11:37:42
4401
原创 Transformer 能代替图神经网络吗?
这篇论文详细展示了Transformer在图推理方面的能力，并且涵盖了不同的参数缩放模式。许多问题可以被重新表述为图问题，所以这篇论文还是值得阅读。并且论文还显示，一些能力的展示需要一定的网络深度，以便让Transformer解决问题。例如在需要全局推理的任务中，Transformer超过了图神经网络（GNN），这得益于自注意力机制，它允许长距离依赖关系被高效评估。这些发现为使用Transformer处理具有复杂全局依赖性的图推理任务提供了理论和实证支持。作者：Salvatore Raieli。
2024-06-29 10:13:52
3968
原创 RAG流程优化（微调）的4个基本策略
最后的提示构造涉及到将检索到的数据集成到模型的查询中。提示符中的微小变化会显著影响结果，使其成为一个反复试验的过程。在提示中提供示例可以引导模型获得更准确和相关的输出，提示词的修改不涉及代码的改变，所以这里我们就不进行演示了优化检索增强生成(RAG是一个迭代过程，它在很大程度上取决于应用程序的特定数据和上下文。我们探讨了四种关键优化方向:细化分块方法、选择和微调嵌入模型、选择有效的向量搜索方法以及制作精确的提示。这些组件中的每一个都在提高RAG系统的性能方面起着至关重要的作用。
2024-06-28 10:21:54
3426
原创 Theta方法：一种时间序列分解与预测的简化方法
Theta方法核心思想是将时间序列数据分解为两个或多个子序列，然后对每个子序列分别应用简单的指数平滑技术。Theta方法的关键在于其分解过程，它将原始时间序列通过一种特定的“Theta线”分解技术，把时间序列分解为趋势组件和随机波动组件。这种分解有助于更清晰地看到数据中的趋势和周期性变化，从而使预测更为准确。在应用Theta方法时，通常会使用两条Theta线：一条用于捕捉序列的长期趋势（通常称为Theta(0)），另一条用于描述更短期的波动（Theta(2)）。
2024-06-27 10:08:54
4040
2
原创 精选：15款顶尖Python知识图谱（关系网络）绘制工具，数据分析的强力助手
知识图谱（关系网络）可以用简单的形状和线条显示复杂的系统，帮助我们理解数据之间的联系。我们今天将介绍15个很好用的免费工具，可以帮助我们绘制网络图。
2024-06-26 11:29:31
5109
3
原创 2024年6月上半月30篇大语言模型的论文推荐
特征工程和数据预处理是任何机器学习中的关键步骤。它们可以通过确保数据干净、结构良好和信息丰富来显著提高模型的性能。本文介绍了如何处理异常值和缺失值、编码分类变量、缩放数值特征和创建新特征——为准备机器学习任务的数据奠定了坚实的基础。我们这里也只是介绍一些简单常见的技术，使用更复杂和更具体技术将取决于数据集和试图解决的问题。作者：Kursat Dinc。
2024-06-25 12:03:48
4881
3
原创 特征工程与数据预处理全解析：基础技术和代码示例
特征工程和数据预处理是任何机器学习中的关键步骤。它们可以通过确保数据干净、结构良好和信息丰富来显著提高模型的性能。本文介绍了如何处理异常值和缺失值、编码分类变量、缩放数值特征和创建新特征——为准备机器学习任务的数据奠定了坚实的基础。我们这里也只是介绍一些简单常见的技术，使用更复杂和更具体技术将取决于数据集和试图解决的问题。作者：Kursat Dinc。
2024-06-24 10:54:15
3619
原创 2024年6月计算机视觉论文推荐：扩散模型、视觉语言模型、视频生成等
6月还有一周就要结束了，我们今天来总结2024年6月上半月发表的最重要的论文，重点介绍了计算机视觉领域的最新研究和进展。
2024-06-23 10:55:17
5217
6
原创 使用粒子滤波（particle filter）进行视频目标跟踪
推理被高度认可为生成人工智能的下一个前沿领域。通过推理，我们可以将任务分解为更小的子集并单独解决这些子集。例如以前的论文：思维链、思维树、思维骨架和反射，都是最近解决LLM推理能力的一些技术。此外推理还涉及一些外围功能，例如访问外部数据或工具。在最近的几年里，我们已经看到模型在特定的推理技术中表现得非常好，但它们无法跨领域推广。这是Meta AI、Allen Institute of AI和University of Washington的研究人员在最近一篇论文中所要解决的问题。
2024-06-22 10:55:50
4109
原创 HUSKY:一个优化大语言模型多步推理的新代理框架
推理被高度认可为生成人工智能的下一个前沿领域。通过推理，我们可以将任务分解为更小的子集并单独解决这些子集。例如以前的论文：思维链、思维树、思维骨架和反射，都是最近解决LLM推理能力的一些技术。此外推理还涉及一些外围功能，例如访问外部数据或工具。在最近的几年里，我们已经看到模型在特定的推理技术中表现得非常好，但它们无法跨领域推广。这是Meta AI、Allen Institute of AI和University of Washington的研究人员在最近一篇论文中所要解决的问题。
2024-06-21 10:37:04
4818
5
原创 使用深度强化学习预测股票：DQN 、Double DQN和Dueling Double DQN对比和代码示例
让我们对传统的 Deep Q-Network (DQN), Double DQN, Dueling DQN 和 Dueling Double DQN 进行对比总结，看看它们各自的特点和优劣势。特点- 使用深度神经网络来估计 Q 函数，从而学习到每个状态下每个动作的价值。- 使用经验回放和固定 Q 目标网络来提高稳定性和收敛性。优点- 引入深度学习提高了 Q 函数的表示能力，能够处理复杂的状态和动作空间。- 经验回放和固定 Q 目标网络有助于稳定训练过程，减少样本间的相关性。
2024-06-20 10:56:24
3607
原创 goldfish loss：减少训练数据泄漏，提高大语言模型输出的多样性
goldfish loss由于其简单性、可扩展性以及对模型性能影响相对较小，可以成为工业环境中的有用工具。不仅可以让模型不重复产生训练数据，这样可以规避训练数据泄露的风险，也可以让模型产生更多样的结果，丰富模型的输出。但是更大的模型会记住更多的训练数据，因此研究goldfish loss对数十亿或数百亿参数规模模型带来的益处如何扩展，是一个有趣的开放问题。最后金鱼的记忆只有7秒，虽然7秒记忆已经被研究证实是错的了，但是这个名字起的挺好，比哪些凑字的名字强多了，比如：谷歌的那个Lion (EvoL。
2024-06-19 10:44:21
4912
3
原创 Multi-Head RAG:多头注意力的激活层作为嵌入进行文档检索
论文提出了一种利用解码器模型的多头注意层而不是传统的前馈层激活的新方案——多头RAG (MRAG)。通过综合评估方法，包括具体的度量、合成数据集和实际用例，证明了MRAG的有效性。MRAG在检索文档的相关性有了显著改善，与传统RAG基线相比，性能提高了20%，并且它不需要额外的LLM查询、或者多个模型实例、也不会增加的存储。作者：SACHIN KUMAR。
2024-06-18 10:18:15
4180
4
原创 MLOps模型部署的三种策略：批处理、实时、边缘计算
了解批处理、实时和边缘部署策略的区别和应用程序是优化MLOps的基础。每种方法都提供了针对特定用例量身定制的独特优势，通过评估应用程序的需求和约束，可以选择最符合目标的部署策略，为成功的AI集成和利用铺平道路。作者：Tech & Tales。
2024-06-17 10:12:17
4011
6
原创 Pixel Transformer：用像素代替补丁可以提升图像分类精度
1、为什么作者选择探索在单个像素上使用Transformer，而不是继续使用传统的16x16像素块？作者选择在单个像素上探索使用Transformer主要是为了质疑并测试在现代计算视觉架构中“局部性”这一归纳偏置的必要性。检验归纳偏置的限制：传统的ViT（如Vision Transformer）通常采用16x16像素块作为输入单元，这种做法继承了卷积神经网络（ConvNets）对局部像素邻域的偏好。
2024-06-16 09:50:46
4743
2
原创 SOFTS: 时间序列预测的最新模型以及Python使用示例
SOFTS是Series-cOreFusedTimeSeries的缩写，背后的动机来自于长期多元预测对决策至关重要的认识：首先我们一直研究Transformer的模型，它们试图通过使用补丁嵌入和通道独立等技术(如PatchTST)来降低Transformer的复杂性。但是由于通道独立性，消除了每个序列之间的相互作用，因此可能会忽略预测信息。iTransformer 通过嵌入整个序列部分地解决了这个问题，并通过注意机制处理它们。
2024-06-15 10:34:44
3764
原创 使用‘消除’技术绕过LLM的安全机制，不用训练就可以创建自己的nsfw模型
现代LLM在安全性和教学遵循方面进行了微调，这意味着他们接受了拒绝有害要求的输入。Arditi等人在他们的博客文章中表明，这种拒绝行为是由模型残差流中的特定方向产生的。也就是说如果我们阻止模型表示这个方向，它就会失去拒绝请求的能力。相反，如果人为地添加这个方向会导致模型拒绝任何请求。在传统的仅解码器的类LLAMA架构中，我们可以关注三个残差流:每个块的开始(“pre”)，注意力层和MLP层之间(“mid”)，以及MLP层之后(“post”)。下图显示了每个残差流的位置。
2024-06-14 10:07:20
3831
原创 通过元学习优化增益模型的性能：基础到高级应用总结
X-Learner和Uplifting方法在目标过程的后期似乎更有效，这表明随着更多的数据被考虑，这些方法在识别真正可处理的个例方面更好。S-Learner的收益随着目标人群的增加而稳步增长。T-Learner始终提供更好的结果。X-Learner最初表现出较低的结果，但随着目标人群的增加而改善，这表明在早期阶段可能会更加谨慎或有选择性。ATE：Average Treatment Effect，平均处理效应。实验组的平均处理效应。
2024-06-13 10:29:25
3552
原创 使用PyTorch Profiler进行模型性能分析，改善并加速PyTorch训练
本文中介绍了使用PyTorch Profiler来查找运行瓶颈，并且介绍了一些简单的提速方法，虽然这篇文章没有完整的解释，但是里面提供的方法都是值得马上尝试方法，希望对大家有所帮助。
2024-06-12 11:57:22
5301
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人