步子哥-CSDN博客

原创开放人工知识：AI训练的新纪元

Open Artificial Knowledge数据集的出现，标志着AI训练数据领域的一个重要里程碑。通过创新的数据生成方法和对关键挑战的细致考虑，OAK为AI研究和应用提供了一个强大而灵活的工具。随着AI技术继续改变我们的生活和工作方式，像OAK这样的开放资源将在推动技术进步和确保AI发展的道德性方面发挥关键作用。正如Schreiber所言：“OAK不仅是一个数据集，它代表了一种新的思维方式，一种让AI研究更加开放、协作和负责任的方式。

2024-07-23 00:08:02 413

原创英特尔13代和14代CPU的“缩肛“问题及其预防措施

"缩肛"是一个俗称,实际上指的是CPU在长期使用后,特别是在高负载和高温环境下,逐渐出现性能退化的现象。CPU无法维持原有的最高频率在相同功耗下,性能低于初始状态需要更高的电压才能维持稳定运行这种现象通常被认为是由于CPU内部晶体管性能退化或电迁移效应导致的,但英特尔官方并未承认这是一个普遍存在的质量问题。

2024-07-23 00:00:00 488

原创多头自注意力机制详解:手把手计算现代AI的基石

MHSA可以应用于各种类型的数据,但通常情况下,输入是一个向量序列。在自然语言处理中,这通常是词嵌入(word embedding)与位置编码(positional encoding)的组合。Input = [这个4x3的矩阵代表了我们的输入序列。MHSA主要学习三个权重矩阵,用于构造"查询"(Query)、“键”(Key)和"值"(Value)。W_Q = [[0.7, 0.8]W_K = [[0.7, 0.8]W_V = [[0.7, 0.8]这些4x2的矩阵代表了模型的可学习参数。

2024-07-23 00:00:00 468

原创英特尔下一代桌面 CPU 或更加炽热:芯片制造商据传将 Arrow Lake 处理器最高温度提升

英特尔的下一代处理器可能会比当前产品运行温度更高。据内部消息人士透露,芯片巨头计划将即将推出的 Arrow Lake 和 Panther Lake 系列处理器的最高热结温度(TJMax)提升至 105 摄氏度。这一消息引发了业界对英特尔未来产品性能和散热的广泛讨论。

2024-07-23 00:00:00 468

原创 AI助力商业智能：智能问答推荐系统引领决策分析新纪元

智能问答推荐系统代表了商业智能领域的一个重要发展方向。通过将自然语言处理、智能推荐和数据仓库技术有机结合,这类系统有望彻底改变决策者与数据交互的方式,为企业提供更加敏捷、精准的决策支持。尽管目前这项技术还处于初级阶段,但其潜力是巨大的。随着人工智能技术的不断进步,我们有理由相信,在不远的将来,智能问答推荐系统将成为企业数字化转型的关键推动力,为商业决策注入新的智慧和活力。企业管理者和技术决策者应当密切关注这一领域的发展,积极探索将智能问答推荐系统引入自身BI生态的可能性。

2024-07-22 23:41:57 481

原创 Llama 3：解除束缚的AI语言模型

在人工智能领域,语言模型的发展一直备受关注。近日,备受期待的Llama 3模型终于揭开神秘面纱,其表现令人惊喜。与前代相比,Llama 3在审查和限制方面有了显著突破,为AI应用开辟了更广阔的天地。本文将深入解析Llama 3的特点,并探讨其潜在影响。

2024-07-22 23:16:33 574

原创 Transformers:为AI赋能的开源利器

在人工智能快速发展的今天,自然语言处理(NLP)技术正在深刻改变着我们与计算机交互的方式。而在这场技术革命中,有一个名为Transformers的开源库正在悄然崛起,成为NLP领域的中流砥柱。

2024-07-22 23:05:23 463

原创 AI领域的数据革命：从特斯拉自动驾驶到大语言模型的共通之路

"离线追踪器"本质上是一个合成数据生成系统。它利用先前的、相对较弱的模型(例如单帧模型或仅能识别边界框的模型)来处理大量视频片段。这个过程在离线环境中进行,通过3D+时间重建技术,生成更加清晰、准确的训练数据。DnewfMweakVrawDnewfMweakVraw其中,DnewD_{new}Dnew表示新生成的高质量数据,MweakM_{weak}Mweak代表较弱的初始模型,Vraw。

2024-07-22 22:15:00 415

原创英特尔高端处理器陷入危机,Core i9芯片频繁崩溃引发广泛担忧

尽管目前形势严峻,但这场危机也可能成为英特尔重塑品牌形象的契机。如果公司能够迅速、透明地解决问题,并为用户提供周到的售后服务,反而可能增强消费者的信任。对于已经购买了这些处理器的用户,专家建议可以尝试降低CPU频率,或联系零售商寻求退换货。同时,也要密切关注英特尔的官方通告,以便及时获得最新的解决方案。无论如何,这次事件都将成为科技行业的一个重要案例,提醒我们即使是最顶尖的科技公司,也需要时刻保持谦逊和警惕,不断改进产品质量,维护用户利益。

2024-07-22 22:00:00 442

原创人工智能的新方向：小型模型的崛起

在人工智能领域，一场静悄悄的革命正在酝酿。长期以来，业界一直追求更大、更复杂的语言模型，但现在，一种反向思考正在兴起：更小、更高效的模型可能才是未来的方向。这种转变不仅可能改变人工智能的发展轨迹，还可能对整个科技行业产生深远影响。

2024-07-22 22:00:00 1019

原创 fastapi简明教程

FastAPI 是一个现代、快速（高性能的）web 框架，用于构建 API。它基于 Python 3.6 及以上版本，使用基于标准 Python 类型提示的 Python 类型系统进行数据验证和序列化。

2024-07-22 08:32:03 322

原创新功能上线：Gemini 1.5 Pro 2M上下文窗口、代码执行能力和Gemma 2

在当今快速发展的人工智能领域，开发者们对更强大、更高效的工具需求日益增加。为了满足这一需求，Google Developers Blog近日宣布了一系列令人激动的新功能：Gemini 1.5 Pro的2百万上下文窗口、在Gemini API中的代码执行能力以及在Google AI Studio中的Gemma 2。本文将详细介绍这些新功能及其潜在应用。

2024-07-22 07:32:59 685

原创大模型时代的模型结构收敛及内存优化：从Megatron到DeepSpeed

在大模型时代，模型结构的收敛无疑是一件好事。这一趋势不仅提高了模型的效率，还推动了技术的发展。本文将深入探讨GPT-3等大模型的网络结构，并详细介绍大模型内存优化的发展脉络，重点关注Megatron和DeepSpeed两大流派以及一些关键技术。

2024-07-22 07:30:40 494

原创理解直接偏好优化中的参考策略

近年来，为了解决大规模语言模型（LLMs）标准监督微调（SFT）算法的局限性，提出了许多替代训练算法。与依赖于单一金标准参考的SFT训练目标不同，直接偏好优化（DPO）和对比学习等先进训练算法要求LLMs学习区分各种候选输出的质量，并生成更有可能被偏好的输出，即偏好学习。DPO因其与强化学习（RL）的联系而备受关注。本文探讨了DPO对参考模型或策略的依赖性，这些参考策略通常作为进一步微调的模型被实例化。参考策略在DPO的有效性上可能施加上限，因此我们针对三个相关的研究问题展开研究。

2024-07-22 07:19:53 430

原创 IBM扩展Granite代码模型到128K上下文

随着代码库级别任务（Liu et al., 2024;2023b）和软件开发代理（OpenDevin Team, 2024）的发展，长上下文长度成为代码语言模型的重要特性。虽然许多专有的大型语言模型，如GPT-4、Gemini和Claude，支持非常长的上下文窗口，但大多数开源代码语言模型只能提供相对较短的上下文窗口（CodeGemma Team et al., 2024;这种短上下文长度限制了开源代码语言模型在实际软件开发中的实用性。

2024-07-22 07:14:06 446

原创 IBM推出128K上下文窗口的Granite开源代码模型

在人工智能和软件开发的交叉点上,一场悄然无声的革命正在发生。IBM研究院近日发布了一系列突破性的开源代码模型,这些模型不仅支持长达128K tokens的超长上下文窗口,还在各项基准测试中展现出卓越的性能。这一重大进展有望彻底改变开发者与AI助手协作编码的方式,为软件工程领域带来新的可能性。

2024-07-22 07:11:07 317

原创 Baba Is AI：打破规则，超越基准

在面对新环境时，人类展示出了惊人的快速学习和适应能力。这不仅包括学习和遵循环境中存在的规则，还包括通过创造性的方式重新定义这些规则和目标。为了探究这些能力，我们开发了一个基于游戏《Baba Is You》的新基准。在这个基准中，代理不仅需要操控环境中的物体，还需要操控由可移动的带有文字的方块表示的规则，以达到指定的目标并赢得游戏。我们测试了三种最先进的多模态大语言模型：OpenAI GPT-4o、Google Gemini-1.5-Pro 和 Gemini-1.5-Flash。

2024-07-22 07:09:07 350

原创大型语言模型作为函数近似器：术语、分类及评估问题

近年来，自然语言处理（NLP）领域经历了从特定任务建模到预训练模型的普遍应用，再到为特定任务进行微调的快速发展。此过程中，大型语言模型（LLM）的出现引发了广泛的关注和讨论，尤其是关于其是否具备“通用人工智能”的能力。本文提出了一种新的视角，将LLM视为函数近似器，通过这种框架来探讨模型的通用性及其潜在价值。这一视角不仅关注近似函数的质量，还涉及函数的可发现性、稳定性和可保护性等问题。本文将详细探讨这一框架，并从理论和实践角度提出相关评估问题。

2024-07-22 07:06:35 446

原创如何黑箱攻击影响大型语言模型的检索增强生成

随着人工智能技术的飞速发展，大型语言模型（LLMs）在自然语言处理领域展示出了卓越的能力。然而，由于训练数据的限制，这些模型的知识范围有限，并且缺乏最新的信息，这可能导致在处理更复杂或时间敏感的任务时出现错误或幻觉。检索增强生成（RAG）结合了信息检索与大型语言模型的生成能力，提升了知识获取的时效性，有效缓解了这些模型的幻觉问题。然而，随着RAG应用范围的扩展，其安全性问题也逐渐凸显，特别是在面对恶意攻击时的表现。

2024-07-22 07:04:44 757

原创潜在因果探测:用因果模型揭示语言模型的内部机制

在人工智能和自然语言处理领域掀起革命的大型语言模型,究竟学到了什么?它们是否真正理解了语言的潜在概念和因果关系?这些问题一直困扰着研究人员。最近,麻省理工学院计算机科学与人工智能实验室的Charles Jin提出了一种新颖的方法来探索这些问题,为我们打开了一扇窗户,让我们得以窥见语言模型内部的运作机制。

2024-07-22 07:02:03 851

原创如何有效地使用Code Llama：AI编程助手的实用指南

Code Llama作为一个强大的AI编程助手，为开发者提供了多样化的工具来提高编程效率。无论是通过Instruct变体获取人性化的编程建议，还是使用Code Completion变体进行精准的代码补全，或者利用Python变体处理特定的Python任务，Code Llama都展现出了极大的潜力。然而，需要注意的是，尽管Code Llama能够提供巨大的帮助，但它并不能完全替代人类程序员的创造力和判断力。开发者应该将其视为一个强大的辅助工具，而不是完全依赖它。

2024-07-22 07:00:00 1065

原创 ChatGPT的工作记忆容量:一项实证研究

工作记忆是指大脑暂时存储和处理信息的能力,它在人类认知过程中扮演着至关重要的角色。根据Baddeley(1992)的定义,工作记忆是一种能够暂时存储和操作信息的认知系统。它不同于长期记忆,而是一种动态的、有限容量的系统,用于在短时间内保持和处理信息。工作记忆对于人类的高级认知功能至关重要,包括推理、问题解决和语言理解等(Conway and Kovacs 2020)。它使我们能够在执行复杂任务时同时处理多条信息,是人类智能的核心组成部分之一。LLMs也具有有限的工作记忆容量。

2024-07-22 00:00:00 719

原创 Mem0: 为个性化AI提供智能记忆层

Mem0 是一个为大语言模型（Large Language Models, LLMs）提供智能、自我改进记忆层的工具，旨在跨应用实现个性化的AI体验。

2024-07-22 00:00:00 544

原创 CUDA 在机器学习中的应用 - 直观而全面的解释

CUDA(Compute Unified Device Architecture)是 NVIDIA 的并行计算平台,允许在 CPU 上运行的应用程序调用 GPU 进行并行数学计算。Kernel:在 GPU 上并行执行的函数Thread:并行任务的基本单位Thread Block:共享内存的线程组Grid:多个 Thread Block 的集合在 CPU 上分配内存并初始化数据将数据从 CPU 内存复制到 GPU 内存在 GPU 上执行 kernel 函数。

2024-07-22 00:00:00 907

原创负样本在生成模型训练中的应用：提升文本质量的有效策略

在人工智能和自然语言处理领域，生成模型的训练一直是一个热门且具有挑战性的话题。随着技术的不断进步，研究者们不断探索新的方法来提高生成模型的性能。其中，引入负样本作为训练策略，已经被证明是一种非常有效的方法，能够显著增强模型的判别能力，从而提升生成文本的质量。本文将深入探讨如何在生成文本模型的训练过程中引入负样本，并详细分析这种方法的原理、实施步骤以及潜在的优势。

2024-07-22 00:00:00 556

原创解码“埃及艳后”：Codestral Mamba，将前沿AI力量交付你手

Codestral Mamba 的发布，标志着 Mistral AI 在 AI 架构探索道路上又迈出了重要一步。凭借其线性时间推理、无限序列建模能力以及开源特性，Codestral Mamba 势必将在代码生成领域掀起新的浪潮，将前沿 AI 力量交付到每一位开发者手中。参考文献。

2024-07-21 15:27:38 620

原创点点思考，掌握21点：深度Q学习实战指南

本文以21点游戏为例，介绍了如何使用RLCard工具包和深度Q学习算法训练一个智能体。我们首先创建了游戏环境，然后创建并训练了DQN智能体，最后通过学习曲线评估了智能体的性能。

2024-07-21 15:24:17 220

原创 Flamingo：通向多模态AI的里程碑

在深入Flamingo之前,我们首先需要理解什么是多模态建模。简单来说,多模态建模是指能够同时处理多种类型数据的机器学习模型。在人工智能领域,我们通常将文本、图像、表格、音频等不同类型的数据称为不同的"模态"。因此,能够同时理解和处理多种模态数据的模型就是多模态模型。视觉语言建模是多模态建模中最受关注的方向之一。它主要研究如何让机器同时理解图像和文本,并完成涉及两种模态的任务。

2024-07-21 14:25:10 701

原创 AGI 是可能的：从复杂适应系统的角度看智慧的涌现

人工智能（AI）近年来的飞速发展激起了人们对通用人工智能（AGI）的广泛讨论。尽管一些专家认为AGI的实现遥不可及，但从复杂适应系统的角度来看，AGI中的智慧可以通过有序的模式“涌现”出来。本文将阐述这一观点，并解释为何AGI的实现是可能的。

2024-07-21 14:18:09 294

原创 Groq: AI硬件的新革命

从早期的CPU到现代GPU,再到Groq的革命性LPU,AI硬件的发展历程反映了计算机科学和人工智能领域的巨大进步。Groq的创新不仅提高了AI模型的运行效率,还为AI的实际应用提供了新的可能性。随着AI技术继续快速发展,我们可以期待看到更多针对AI优化的硬件解决方案。这些创新将推动AI在各个领域的应用,从而改变我们的生活和工作方式。

2024-07-21 13:51:54 284

原创 CRAG:全面检验检索增强生成能力的新基准

在深入CRAG之前,我们需要先了解RAG技术的基本概念和工作原理。检索增强生成(RAG)是一种通过补充信息来提升语言模型回答能力的技术。RAG的核心思想是:在生成答案时,系统会先从知识库中检索相关信息,然后将这些信息与用户的查询结合,形成一个增强的提示(augmented prompt),最后由语言模型基于这个增强提示生成最终答案。提高模型的性能和可靠性增强模型的鲁棒性使模型能够访问和精确操作知识为模型决策提供来源依据实现模型知识的动态更新。

2024-07-21 13:37:32 356

原创高效在线复杂注释众包

众包平台利用各种真相发现算法来整合来自多个标注者的注释。在在线环境中，主要挑战是决定是否需要为每个项目请求更多的注释，以有效地平衡成本（即注释数量）和注释质量。在本文中，我们提出了一种适用于一般复杂注释（如边界框和分类路径）的新方法，该方法在在线众包环境中工作。我们证明，标注者的期望平均相似性在报告标签的条件下与他们的准确性是线性的。这使我们能够在广泛的场景中推断报告标签的准确性。我们在来自Meta的真实众包数据上进行了广泛的评估，并展示了我们提出的在线算法在提高成本质量权衡方面的有效性。

2024-07-21 12:00:00 1408

原创 Transformer模型:直观而全面的解析

在自然语言处理(NLP)领域,Transformer模型无疑是近年来最具革命性的突破之一。它彻底改变了我们处理序列数据的方式,并为大型语言模型的发展奠定了基础。本文旨在直观而全面地解析Transformer模型的工作原理,帮助读者深入理解这一强大的架构。

2024-07-21 10:52:38 18

原创 Embedchain: 开源的个性化大语言模型响应框架

Embedchain是一个开源框架，旨在为大语言模型的响应提供个性化功能。它的核心设计理念是"约定优于配置，但可配置"（Conventional but Configurable），这使得它既能满足软件工程师的需求，又能满足机器学习工程师的专业要求。领域特定应用：使用在特定领域（如医疗、金融）训练的嵌入模型来提高准确性。多语言支持：使用支持多语言的嵌入模型来创建跨语言的AI应用。

2024-07-21 07:36:04 537

原创 MultiOn Python库:实现智能化网页自动化的利器

MultiOn Python库是一个便捷的Python接口,用于访问MultiOn API。该库允许开发者在Python应用程序中轻松集成MultiOn的功能,实现自动化网页浏览、交互和数据提取等复杂任务。),

2024-07-21 07:26:50 894

原创 Mem0 与 MultiOn：打造个性化 AI 辅助研究助手

Mem0 是一个为大型语言模型（LLMs）设计的智能记忆层。它能够存储和检索用户相关的信息，为 AI 应用提供个性化的上下文。多层次记忆存储自适应个性化简单易用的 API跨平台一致性。

2024-07-21 07:10:28 956

原创 Mem0: 个性化AI的智能记忆层

Mem0是一个为大型语言模型设计的智能记忆层，旨在提供个性化的AI体验。它的核心理念是通过持续学习和适应用户的交互来改进AI的表现，从而在各种应用中提供更加个性化和连贯的用户体验。Mem0允许开发者自定义记忆的创建和更新规则。这为不同应用场景提供了灵活性。例如，您可以设置特定类型的信息自动过期，或者根据用户的交互频率调整记忆的重要性。# 实现自定义逻辑pass。

2024-07-21 06:52:39 1674 2

原创蒙特卡洛树搜索:人工智能游戏的制胜法宝

蒙特卡洛树搜索由Rémi Coulom于2006年首次提出,作为围棋引擎Crazy Stone的核心组件。Crazy Stone在当时表现出色,引起了学术界的广泛关注。从宏观角度来看,蒙特卡洛树搜索的主要目的是:给定一个游戏状态,选择最有希望的下一步走法。在接下来的内容中,我们将详细探讨MCTS的工作机制,解释"最有希望的走法"究竟意味着什么。同时,我们也会不时回顾AlphaGo/Zero,说明DeepMind的AI系统采用了何种MCTS变体。

2024-07-20 19:47:48 592

原创对抗性遗憾最小化:扑克AI战胜职业选手的核心技术

我们的主要算法 CFR 产生一种称为纳什均衡的策略组合的近似。纳什均衡是一种策略组合(所有参与玩家的策略集),使得没有单个玩家有动机偏离。它代表了玩家之间的平衡点,在这一点上,没有玩家通过改变自己的策略获得额外收益。我们说两个玩家都在玩纳什均衡策略组合,如果在另一个玩家保持原策略不变的情况下,改变一个玩家的策略不会带来任何额外价值(就效用而言) - 两个玩家都在对彼此使用最佳应对策略。关于纳什均衡,会产生几个问题。首先,扑克中是否存在纳什均衡?如果存在,是只有一个还是多个?CFR将计算哪一个?

2024-07-20 16:39:13 803 1

原创使用OpenVINO GenAI Flavor运行大语言模型

OpenVINO GenAI Flavor是OpenVINO工具套件的一个专门版本，旨在优化生成式AI模型的推理性能。它集成了多项先进技术，如动态形状支持、稀疏计算和高效内存管理等，特别适合处理LLMs这类大规模、复杂的模型。

2024-07-20 15:37:59 1284 1

论文译文：LLM Maybe LongLM: SelfExtend LLM Context Window Without Tun

巨型语言模型的 8 位量化：LLM.int8() 中文版论文

LLM+Mamba具有选择性状态空间的线性时间序列建模

Meta的Pearl强化学习库入门（中文版）.pdf

空空如也