- 博客(334)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 微软人工智能研究院推出OLA-VLM：一种以视觉为中心的方法来优化多模态大型语言模型
OLA-VLM在各种基准测试中经过了严格的测试，显示出比现有的单编码器和多编码器模型有显著的改进。将这种优化引入语言模型的中间层，确保了在推理期间无需额外的计算开销，即可实现更好的视觉推理。提出的方法提高了视觉-语言任务的性能，并与现有方法相比，使用更少的计算资源实现了这一点。尽管增加数据集的规模和计算的复杂性带来了一定程度的改进，但为了确保在视觉任务中达到预期的性能，这些模型需要更精确的视觉理解优化。这种方法展示了嵌入优化如何有效地解决视觉-语言对齐中的挑战，为未来更健壮和可扩展的多模态系统铺平了道路。
2025-01-08 17:23:50
928
原创 Meta AI 提出大型概念模型（LCMs）：语义超越基于令牌的语言建模
它们的层次结构增强了连贯性和效率，而强大的零样本泛化扩展了它们在多种语言和模态中的应用。随着对这个架构研究的继续，LCMs有潜力重新定义语言模型的能力，为AI驱动的通信提供一种更可扩展和适应性强的方法。与特定语言或模态绑定的模型不同，LCMs在纯粹的语义层面上处理和生成内容。概念级建模比基于令牌的处理减少了序列长度，解决了标准Transformers的二次复杂性问题，使得长上下文的处理更加高效。LCMs表现出强大的零样本泛化能力，通过利用SONAR广泛的多语言和多模态支持，在未见过的语言和模态上表现良好。
2024-12-29 09:47:55
923
原创 周末让我们思考一下：LLM的潜在空间（Latent Space）
这样，咱们的AI世界就会更像现在的样子，但LLM提供了一个超强的接口层，让咱们可以用自然语言提出请求，它能理解这些请求，并决定哪个模型最有可能给出答案。但是，理解LLM的核心模型非常重要。的概念，就像是给复杂数据找个压缩包，把图像、视频、声音啊这些高维数据压缩成低维的，这样在机器学习里，尤其是在生成模型，比如自动编码器和变分自动编码器里，就能把数据从高维空间映射到低维空间。通过用大量逻辑示例进行训练，它们可以在复制看似逻辑的行为上达到相当高的准确性，但相对于咱们的更简单的基于规则的模型，这种表示是。
2024-12-29 09:46:10
826
原创 一个用于理解和改进基于Transformer的LLMs中知识存储的框架
将重点从孤立的组件转移到相互连接的结构上，为分析和改进基于Transformer的模型提供了一个全面的框架。为了构建知识电路，研究人员系统地分析了模型的计算图，通过消融特定的边并观察性能的变化来识别关键连接，并确定各种组件如何相互作用以产生准确的输出。大型语言模型（LLMs），这些人工智能领域的巨擘，通过在其参数中嵌入浩瀚的知识库，得以理解和产出接近人类水平的文本。尽管LLMs取得了令人瞩目的成就，但科研人员仍在不懈地探索这些系统中知识存储和应用的深层机制，以期进一步提升它们的效能和稳定性。
2024-12-25 15:56:08
849
原创 开发者的福音：GitHub的AI编程助手Copilot对VS Code开发者免费开放
技术的迅猛发展，有时也会让我们的步伐变得沉重，增加错误发生的概率，尤其是对于初学者来说，学习曲线显得尤为陡峭。尽管人工智能（AI）工具似乎提供了一种有效的解决方案，但其高昂的成本往往让许多人望而却步，特别是对于学生和那些致力于开源项目的贡献者。无论是简化工作流程、增强学习还是实现更宏伟的项目，Copilot的可用性标志着我们在技术领域朝着更协作和生产力的未来迈出了重要的一步。GitHub的这一举措，使得AI驱动的编程辅助工具变得更加易于获取和使用，体现了技术的普惠性。
2024-12-25 15:54:42
835
原创 Meta FAIR出新招：Meta Motivo，让虚拟机器人动起来！
未来的研究可能会包括整合更多的状态变量，探索更复杂的感知方法，利用基于视频的人类活动数据集，以及开发更直接的语言-策略对齐技术，来扩展模型的能力和泛化性。人类评估研究还发现，虽然特定任务的算法可能在数值上表现更好，但FB-CPR被认为更“像人”，在83%的基于奖励的任务和69%的目标达成场景中，参与者都觉得它的行为更自然。为了证明这个算法有多牛，他们还搞了个叫做META MOTIVO的模型，这个模型能控制全身动作的机器人，而且能在没有专门训练的情况下，搞定运动跟踪、目标达成和奖励优化这些任务。
2024-12-24 10:29:02
530
原创 Nexa AI发布OmniAudio-2.6B：一款快速的音频语言模型，专为边缘部署设计
与传统的将自动语音识别（Automatic Speech Recognition，简称ASR）和语言模型分开处理的架构不同，OmniAudio-2.6B将Gemma-2-2b、Whisper Turbo和一个定制的投影仪集成在一个统一的框架之中。Gemma-2-2b（一个精炼的大型语言模型）和Whisper Turbo（一个强大的ASR系统）的集成，确保了一个无缝且高效的音频处理流程。这一模型反映了对实用、本地化AI解决方案的日益重视，为满足现代应用需求的音频语言处理的进步铺平了道路。
2024-12-24 10:27:57
757
原创 DeepSeek-AI 开源 DeepSeek-VL2 系列，采用专家混合（MoE）架构，重新定义视觉语言人工智能
将视觉与语言的智能融合，已经在视觉语言模型（Vision-Language Models，简称VLMs）领域实现了重大突破。DeepSeek-VL2的训练包括一个多样化和全面的多模态数据集，使模型能够在各种任务中表现出色，包括光学字符识别（OCR）、视觉问题回答和图表解释。提供微型（3B）、小型（16B）和标准型（27B）配置，确保了对各种应用的适应性，从轻量级部署到资源密集型任务。研究团队引入了一个在实际应用中表现出色的模型系列，通过解决可扩展性、计算效率和任务适应性方面的关键限制。
2024-12-17 17:04:19
707
原创 Meta AI 推出 COCONUT：一种新的范式，通过连续潜在思维和高级规划能力改变机器推理
问题方法结果基于语言的推理效率不高，因为太依赖于生成流畅的标记，而不是真正解决问题的推理。Meta的FAIR和加州大学圣地亚哥分校的研究人员搞出了“COCONUT”（连续思维链），这样就能在没有语言限制的潜在空间里进行推理了。COCONUT在逻辑推理任务上达到了99.9%的准确率，减少了推理标记，提高了规划能力，而且在效率和可扩展性上都超过了传统方法。总的来说，COCONUT通过引入连续潜在思维，解决了基于语言方法的效率问题，提高了计算效率。
2024-12-17 17:02:50
739
原创 字节跳动发布FullStack Bench工具：用于评估LLMs作为全栈开发者的能力
它支持23种编程语言，为LLMs的基准测试提供了一个可扩展和多功能的解决方案，不仅适用于FullStack Bench数据集，也适用于其他流行的基准测试，如HumanEval和MBPP。字节跳动的Seed团队与M-A-P的研究人员联合推出了FullStack Bench，这是一个全面的基准测试工具，旨在评估LLMs在11个不同应用领域的表现，并支持16种编程语言。在当前的研究领域，一个亟待改进的重要方面是全面基准测试的需求，这些测试需要精确反映现实世界中的编程需求。
2024-12-10 11:20:37
400
原创 一种LLM推理调优技术：采用KV缓存重计算来优化CPU-GPU交互
KV缓存的内存需求不断增长，超出了GPU的处理能力，将其转移到CPU引入了多个瓶颈，这增加了延迟并降低了吞吐量。南加州大学的研究人员提出了一种高效的CPU-GPU I/O感知型LLM推理方法(https://arxiv.org/abs/2411.17089)，以优化PCIe的利用。因此，降低操作延迟成为了一个严峻的挑战，尤其是在那些需要快速响应的动态应用场景中。以往的研究尝试解决PCIe性能缓慢的问题，但这些方法常常因为数据传输和GPU计算时间不匹配而失败，尤其是在处理大批量和上下文大小的情况下。
2024-12-09 18:07:35
974
原创 OpenAI 推出强化微调，构建复杂领域的专业AI模型
在OpenAI的“12天OpenAI”盛会的第二幕中，他们揭开了o1模型的强化微调（Reinforcement Fine-Tuning, RFT）的神秘面纱，这一创新的突破性进展预示着传统微调时代的终结。RFT不仅仅是复制已有的模式，它赋予了模型深层次的推理能力。OpenAI通过强化学习的技术，旨在赋予各组织构建专家级别的人工智能的能力，以便在法律、医疗、金融等高复杂度领域中大显身手。这种创新的方法允许组织以极小的数据量——有时仅需12个样本——通过强化学习来训练模型，处理特定领域的任务。
2024-12-09 09:37:56
993
原创 月之暗面科技开源kimi核心推理架构：“月饼”
而且，传统的LLM服务架构通常都假设有足够的资源来处理所有的请求，但随着需求的增加，特别是在高峰时段，这变得越来越难。实验结果表明，与基线相比，月饼在模拟场景中实现了高达五倍的吞吐量增加，并在现实世界的工作负载下实现了75%更多的请求处理。月饼利用以KVCache为中心的预填充-解码（PD）分离技术和存储-计算解耦架构，显著提高了月之暗面科技的LLM服务Kimi的推理吞吐量。这种分离带来了显著的性能提升。未来，他们还计划在传输引擎的基础上构建月饼存储，它支持池化的KVCache，以实现更灵活的P/D解耦。
2024-12-08 13:44:36
769
原创 一文通读，全面比较 ： TPUs vs. GPUs
然而，直到90年代末和21世纪初，随着可编程着色器的引入，GPU才真正开始在主流市场崭露头角，这使得开发者能够利用其并行处理能力来处理图形之外的任务。NVIDIA推出的CUDA（Compute Unified Device Architecture）和AMD的Stream SDK，使得开发者能够利用GPU的强大处理能力进行科学模拟、数据分析等更广泛的应用。最初，GPU的设计宗旨在于图形的渲染，但随着技术的进步，它们已经转变成能够高效执行AI任务的多功能处理器。同样，GPU实施节能优化以提高AI操作的性能。
2024-12-06 13:23:51
1053
原创 一睹：微软最新发布的LazyGraphRAG
微软近期推出了一项革新性的技术——LazyGraphRAG，这是一种启用图谱的检索增强生成（Retrieval Augmented Generation，RAG）技术，它以其卓越的效率和成本效益，彻底颠覆了传统观念中对“懒惰”的刻板印象。位于雷德蒙德的微软研究团队宣称，这项最新的RAG技术在成本和质量上展现出了“与生俱来的可扩展性”，并在成本与质量的连续谱上呈现出“卓越的性能”。此外，它还成功降低了对整个数据集进行全局搜索的成本，同时提升了局部搜索的效率。简而言之，LazyGraphRAG绝非徒有其名。
2024-12-06 11:26:39
1319
原创 2024年顶级小型语言模型前15名
LaMini-GPT，这款参数介于7.74亿至15亿的模型，专为多语言任务设计，它在资源受限的环境中表现出色，能够处理多种语言而不需要大量计算资源。尽管它可能缺乏LLaMA 13B等大型模型的原始计算能力，但它在性能与资源效率之间取得了巧妙的平衡，使其成为资源受限环境中的理想选择。Gemma2，这款20亿参数的模型，若您考虑本地部署，它将展现出卓越的性能。接下来，我们有Mistral Nemo 12B，这款拥有12B参数的模型在处理复杂的自然语言处理（NLP）任务，如语言翻译和实时对话系统方面表现出色。
2024-12-04 10:11:05
1246
原创 一文了解：什么是对象检测
想象一下，你正在为一个体育分析系统开发一种计算机视觉技术，在这个系统中，定位图像或视频中的对象至关重要。在比赛视频中检测和跟踪球员，可以让你计算特定区域内的球员数量，监控他们跨越区域的移动，甚至分析他们在关键位置所花费的时间。通过目标检测——一种不仅能在图像或视频中识别对象，还能精确定位它们位置的计算机视觉任务——实现了这种细节水平。与简单的图像分类不同，图像分类只是给整个图像分配一个标签，目标检测则致力于找到对象的实例并通过边界框标记它们的位置。
2024-11-20 10:11:52
1510
原创 浅谈：向量数据库、向量搜索库和向量搜索插件
也不是说所有的向量数据库都一样，每个都有它独特的地方，适合不同的场景。对于那些只需要处理几百万向量的小规模生产环境，向量搜索库和插件还是挺友好的，如果你的数据量不大，只需要基本的向量搜索功能，这些技术就够用了。现在市面上有好多向量搜索技术，不光有Python的NumPy这种机器学习库，还有FAISS这样的向量搜索库，还有基于传统数据库构建的向量搜索插件，以及Milvus这样的专业向量数据库。但是，如果你的业务需要处理上亿的向量，还得要求实时响应，那专业的向量数据库，比如Milvus，就是我们的首选了。
2024-11-20 10:10:11
1357
原创 向量搜索工具之 Milvus vs. Elastic
在当今数据驱动的世界中，向量数据库因其在处理大规模非结构化数据方面的卓越能力而变得越来越重要。随着数据量的爆炸性增长，如何确保这些数据库在存储和检索数十亿数据点时仍能保持高性能，成为了一个关键挑战。Milvus和Elasticsearch都是管理和搜索大型数据集的强大工具，但它们服务于不同的目的，并在不同的领域表现出色。虽然Elasticsearch主要是一款文本搜索引擎，但Milvus是为向量相似性搜索而设计的，这使得它特别适合人工智能应用。
2024-11-19 17:12:47
1224
原创 实操：通过LangChain尝试不同的分块策略
在开发检索增强生成（Retrieval-Augmented Generation, RAG）应用的过程中，处理文档的分块（Chunking）无疑是最为复杂的任务之一。分块究竟是什么？它指的是将信息切割并整理成易于处理或富有意义小组的行为，这些小组随后可以被送入我们的语言模型中进行处理。虽然这个概念乍听之下似乎简单直白，但实际上，其执行的细节才是成功的关键。根据文本的具体特征，你可能需要在将文本输入到语言模型之前，采取不同的策略来进行分块。在本文中，我们将探讨不同分块策略对同一数据集的影响。
2024-11-19 17:07:59
1052
原创 一种细粒度的评估RAG框架：RAGChecker
研究者们仔细评估了RAG的各个部分和它们的组合，给出了一些根据具体情况的建议，既考虑了效果，也考虑了效率。传统的评估方法往往不够用，它们要么只关注检索器的性能，要么就抓不到生成内容的细节。RAGChecker的特别之处在于它和人类的判断很接近，在评估RAG输出的正确性、完整性和整体质量方面做得比现有指标好。RAG和GraphRAG这两个技术在AI圈子里挺火的，原因嘛，就是它们能把大型语言模型（LLMs）和外部的知识库连起来，这样就能提高模型的准确性，减少那种不靠谱的输出。》，为RAG优化提供了新的视角。
2024-11-18 11:17:11
841
原创 值得了解的十佳多模态模型
说到人工智能，最近几年它的发展真是突飞猛进啊，尤其是多模态模型的出现，这可是个大新闻。这些模型不再只是处理单一类型的数据，比如文本、图像或者音频，它们能够把这些数据类型结合起来，打造出更加聪明、更加直观的系统。这样的转变让AI能够像人类一样理解和与世界互动，变得更加多功能。多模态模型在AI领域变得特别重要，因为它们提供了一种新方法，可以同时处理和生成多个数据源的洞察力。从能够响应口头命令和视觉输入的AI助手，到能够整合不同类型的感官数据进行学习的先进系统，多模态AI正在不断突破界限。
2024-11-18 11:12:20
1331
原创 您知道Apple公司的大模型(AFM)吗？
这篇文章之前其实发过，但我觉得很有必要再发一次，就是想和大家分享一下我最近在arXiv.org上看到苹果发表的一篇技术论文 Apple Intelligence Foundation Language Models (https://arxiv.org/abs/2407.21075)，概述了他们的模型训练。这虽然出乎意料，但绝对是一个积极的惊喜！这篇论文有那么多作者参与，就知道这模型不简单。研究团队在这篇论文里给我们展示了两个超厉害的模型，它们是专门为苹果设备上的智能环境设计的。
2024-10-30 10:15:48
736
原创 一文了解：人工智能中的代理(Agents)
架构，说白了，就是代理跑起来的那个机器，比如装有传感器和执行器的设备，像是机器人汽车、摄像头或者电脑。代理函数，就是把代理到现在为止感知到的所有东西，也就是感知序列，转换成行动的映射。至于它们所处的环境，有的规则是固定的，有的则是一直在变化的，这就要求代理得能适应新情况。总的来说，代理在人工智能中有广泛的应用，从机器人技术到智能家居，从交通系统到医疗保健，再到金融、游戏、自然语言处理、网络安全、环境监测和社交媒体，代理都是解决问题的强大工具。：这种代理被组织成不同的层次，高层的代理指挥低层的代理。
2024-10-30 09:46:31
881
原创 群体智能(Swarm Intelligence)算法：三种Python实现
来想象这么一个场景：你看一群鸟儿在天上飞，它们没有头鸟带队，也没谁下命令，但它们能一起盘旋、滑翔，动作整齐划一。表面上看着乱糟糟的，实际上却井然有序。类似的现象也出现在鱼群躲避捕食者，或是蚂蚁寻找最短路径去搬食物上。这些小动物就是靠一些简单的规则和周围的沟通，就能完成那些没有中央指挥的超复杂任务。这就是群体智能的魅力所在。我们可以利用模仿这种群体智能的算法，来解决一些复杂的问题。
2024-10-28 11:38:25
1876
原创 理解DETR：使用变换器(Transformers)进行端到端的目标检测
DETR给我们带来了一种全新的方法来用变换器做目标检测。这个端到端的模型能够一次性完成目标检测和分类，这和以前的多阶段模型，比如RCNN和Faster R-CNN，是不一样的。DETR的直接集合预测方法允许并行处理，这样也简化了整个架构。虽然DETR有不少优点，但它在计算资源消耗和推理速度上还是面临一些挑战。目前，研究人员正在努力解决这些问题，希望能进一步提升DETR的性能。另外，变换器的使用为涉及自然语言处理（NLP）和计算机视觉的双模态任务提供了一个统一的解决方案。
2024-10-28 11:36:12
893
原创 一文了解：增强图像搜索之图像嵌入
图像嵌入在现代计算机视觉领域扮演着明星角色，它使得计算机能够像人类一样识别出各种各样的图像。由于计算机只能处理数字信息，我们需要将图像转换成数字向量，并存储在向量数据库中，这样就能迅速地检索到它们。谈到嵌入技术，它们的种类繁多。过去，我们不得不手动为图像添加数字标签，但随着深度学习技术的出现，计算机已经能够自动完成这项工作，并且做得越来越好。它甚至可以根据一个文本提示创造出一张图像。本文，我们将探讨这些技术，并讨论在不同情况下应该选择哪种技术。
2024-10-26 09:31:27
928
原创 密集向量（Dense Vectors）：最大化机器学习中数据的潜力
机器学习得把数据弄得适合算法处理才行，比如通常得把那些原始数据转换成数值向量，就是那种高维的数组。这些向量，不管是稀疏的还是密集的，都是机器学习算法里头的大块头。说到密集向量（Dense Vectors），这可是把复杂数据转换成高维数值表示的基础。每个向量里的元素都有具体的数值，每个数值都对整个向量的意义有影响。这跟稀疏向量（Sparse Vectors）不一样，稀疏向量里头大部分是零，只记录那些非零的元素和它们的位置。但密集向量就不一样，它不省略任何元素，每个位置的数值都很重要。
2024-10-26 09:28:29
1155
原创 最近热议：苹果揭示了LLM在“推理”能力上的严重缺陷
最近有一篇由苹果公司出品的论文，很有意思，我分享给大家。大致就是说OpenAI和谷歌这些大模型公司，他们一直在吹嘘他们的新AI模型有多牛，说它们能推理。但是，苹果的六个工程师搞了个新研究(https://arxiv.org/pdf/2410.05229)，发现这些高级的大型语言模型，一旦遇到那些标准测试题的一点点小变化，它们的数学推理能力就脆弱得跟纸糊的一样，根本靠不住。
2024-10-26 09:26:20
818
原创 云端运行LLM性能对比：Ollama vs. OpenLLM
部署大型语言模型（LLMs）在本地变得越来越流行，因为它们增强了数据隐私，具有成本效益，并且不依赖网络。Ollama是一个流行的本地LLM部署工具，支持广泛的开源LLMs，并提供直观的体验，非常适合单用户、本地环境。然而，当扩展到单用户应用之外时，比如为成千上万的用户服务的聊天机器人Web应用程序，就会出现挑战。Ollama能否满足在云端扩展的要求呢？
2024-10-25 10:43:17
1546
原创 一文了解：多智能体系统(MAS)的演变（方法论篇）
比如，我们可以把训练好的AI直接装到小相机里，让它能做实时的设备处理。在生物学里，这个概念也很重要，比如你看那些蚂蚁，它们就是以去中心化的方式行动的，没有一个老大来控制整个群体，它们都是靠局部的互动来找食物的。在去中心化的MAS里，每个智能体都有自己的自主权，它们都是根据自己的了解、环境还有和其他智能体的互动来自己拿主意的。联邦学习的意思是，咱们不用把数据都收集到中央服务器或者云端去训练，而是让每个设备都在本地处理自己的数据，训练模型的一部分，然后只把模型的更新，比如学到的参数，分享给中央服务器。
2024-10-25 10:41:06
953
原创 一文了解：多智能体系统(MAS)的演变（算法篇）
今天我们来聊聊MAS，即多智能体系统（Multi-Agent System），它是由多个相互作用的智能体组成的系统，这些智能体可以是软件程序、机器人、传感器或者任何能够感知环境并作出决策的实体。要弄清楚哪两个节点是通过边连接的，我们通常会用一个叫做邻接矩阵的东西来表示，如果矩阵里的A[i,j]是1，那就表示节点i和节点j之间有一条边，如果是0，那就表示它们之间没有边。因为从每个智能体的角度来看，环境不再是一成不变的，一个智能体的行动可能会因为其他智能体的行动而得到不同的奖励。
2024-10-25 10:38:30
2537
原创 技术解析： PagedAttention 如何高效管理LLM的内存
LLM，也就是大型语言模型，真的超级厉害，几乎啥问题都能搞定。而且啊，它们更新换代的速度特别快，总有更牛的新模型冒出来。像Mistral、Llama、OPT、Qwen这些，都是开源的，拿来处理自家数据或者商业用途都没问题。但是呢，等到真的要用这些开源LLM的时候，就会发现挑战来了。因为要运行它们，得花好多钱，毕竟得用上好几块GPU卡嘛。所以啊，找个方法在这个阶段好好管理内存，那是相当重要的。有个可能的解决办法就是用一个叫的算法，这篇文章咱们就来聊聊这个。
2024-10-24 15:02:11
1442
原创 如何评估检索增强型生成（RAG）应用
RAG，也就是检索增强型生成，是现在大型语言模型（LLMs）时代里的一个超火的AI框架，比如你知道的ChatGPT。它通过把外面的知识整合进来，让这些模型变得更聪明，能给出更准确、更及时的回答。详见前篇文章《概括来说，一个典型的RAG系统得有一个LLM，一个像Milvus这样的向量数据库，还得有一些提示，就像下图所示那样。现在越来越多的开发者和公司开始用RAG来开发GenAI应用了，所以评价这些应用好不好用就变得越来越关键了。
2024-10-24 14:59:17
736
原创 什么是检索增强生成（RAG）
在AI领域，检索增强生成简直是个游戏规则改变者，它不只是工具那么简单。它能无缝地把LLMs和向量数据库结合起来，检索最新信息，提供准确、及时和特定行业的回应。检索增强生成正带领AI走向一个准确性和灵活性并存的未来，让今天的语言表达模型变成明天的智能对话者。关于检索增强生成的工作原理，还有很多要学的，尤其是当我们努力把生成性AI应用投入实际生产时。这个旅程才刚开始，有了RAG的带领加持，我相信现代信息检索系统的潜力是无穷的。
2024-10-24 14:56:24
959
原创 如何构建一个支持GPU的Llamafile容器
给llamafile加上GPU支持，一下子就让它从一个实验性的玩具变成了软件工具箱里的实用工具。而且，把LLM容器化了之后，大家就不用安装和下载那些二进制文件，就能直接跑LLM了。我们可以直接从仓库拉取LLM，用很少的设置就能启动。另外，容器化还为在各种编排框架里部署LLM提供了新的可能性，你觉得呢？
2024-10-24 14:53:14
1084
原创 大型语言模型（LLMs）关键技术指南
在AI这个超火的领域，打好基础真的超级重要，尤其是当你开始研究那些超大型的语言模型，也就是LLMs的时候。这个指南就是想帮新手们把那些听起来高大上的概念变得简单易懂，比如神经网络、自然语言处理（NLP）还有LLMs这些。我也会把之前文章的内容做个总结，有些细节我会直接放链接，点一下就能看。咱们会聊聊LLMs是怎么搭建和训练的，还有它们会遇到的一些问题，比如偏见和幻觉。
2024-10-12 15:09:39
1353
原创 一文了解：大型语言模型（LLMs）中的偏见、毒性以及破解
微调阶段，包括RLHF，是用来改变模型的权重，让它不太可能产生有害的内容。在财务规划这块儿，ChatGPT给有孩子的女性的建议和给有孩子的男性的建议都不一样，比如让男的指定资产受益人，女的就做做饮食规划。实际上，在心脏测试的例子中，GPT-4的偏见甚至比人类的心脏病专家还要大，这已经是个问题了，因为研究表明女性得到心血管疾病及时和准确诊断的可能性本来就比较小。有篇论文叫《AGI的火花》，里面研究了GPT-4，还做了个表格，量化了GPT-4是怎么把不同的职业和世界上男性女性在这些职业中的分布联系起来的。
2024-10-12 13:20:38
1294
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人