- 博客(378)
- 收藏
- 关注
RSS订阅原创 为什么你的RAG不起作用?如何解决语义失谐
我们正目睹人工智能的新时代即将到来。这个时代的新特点不是 NLP 和语言模型的出现——谷歌已经在这方面耕耘多年。相反，一个主要因素是现成的技术降低了企业利用自然语言技术实现特定用例的门槛。但我们不应忽视这样一个事实：这项技术目前仍处于早期开发阶段，在为人工智能构建 RAG 时，您是在知识库之上构建一个复杂的搜索引擎。这是可以实现的，但了解这些挑战并解决这些限制是成功的一半。
2024-07-26 19:45:47
389
原创 Llama 3.1磁力链提前泄露！开源模型王座一夜易主，GPT-4o被超越
历史再次重演，Llama 3.1 405B提前泄露了！现在，基准测试和磁力链已经传得满天飞了。除了最大的405B，Meta这次还升级了5月初发布的8B和70B模型，并将上下文长度全部提升到了128K。至此，模型版本也正式从Llama 3迭代到了Llama 3.1。根据磁力链提供的信息，新模型大小为763.48GiB（约820GB）。从泄露的「基准测试」可以看出，连8B小模型都很能打，而70B的模型，性能在多项基准上都能赶超GPT-4o了。
2024-07-25 21:09:35
363
原创 Llama 3.1横空出世！开源巨无霸首次击溃闭源，全民GPT-4时代来临
开源新王Llama 3.1 405B，昨夜正式上线！在多项基准测试中，GPT-4o和Claude 3.5 Sonnet都被超越。也即是说，闭源SOTA模型，已经在被开源模型赶上。一夜之间，Llama 3.1 405B已成世界最强大模型。（同时上线的，还有新版70B和8B模型）LeCun总结了Llama 3.1模型家族的几大要点：- 405B的性能，与最好的闭源模型性能相当- 开源/免费使用权重和代码，允许进行微调、蒸馏到其他模型中，以及在任何地方部署。
2024-07-24 19:50:22
769
原创 深入浅出：初学者的微调大型语言模型实战教程
在快速发展的人工智能领域，高效、有效地利用大型自然语言模型（LLM）变得越来越重要。但是，我们可以通过许多不同的方式使用大型自然语言模型，这对于初学者可能会让人不知所措。和。本文中，我们将简要介绍什么是上下文学习，然后我们将详细介绍如何微调LLM。
2024-07-23 17:03:13
745
原创 企业如何使用模型微调（SFT）定制化调优大模型？
在大模型的调优策略中，模型微调是一个关键步骤。它存在两种策略：1.全参数微调（Full Parameter Fine Tuning）2.部分参数微调（Sparse Fine Tuning）全参数微调涉及到调整模型的所有权重，使之适应特定领域或任务，这样的策略适用于拥有大量与任务高度相关的训练数据的情况。而部分参数微调则是只选择性地更新模型中的某些权重，特别是当我们需要保持大部分预训练知识时，这种方法能减少过拟合的风险，并提高训练效率。在保留模型泛化能力的同时，提升其在某一特定任务上的表现。
2024-07-22 21:51:59
742
原创 Mac装上字节豆包，艾玛！一下变AI PC了！
好了：当然，AI大模型的“基本功”也是具备的，你可以边看视频边提问（哪里不会问哪里）：如此一来，在B站学习知识这件事，效率可以说是一下子Pro Max了。除此之外，之前类似Mac里非常单一的搜索功能（Command+空格），在安了豆包电脑版之后也直接**“变废为宝”**。只需按下快捷键**“Option+空格”**，类似的搜索界面，却是截然不同的打开方式。除了基本的搜索、提问功能之外，可以直接把它当做一个。
2024-07-22 20:07:48
895
原创 Llama3 中文版本地环境搭建和部署实战
Meta Llama 3 模型，包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能。Llama 3 在超过 15 万亿个标记上进行训练，比 Llama 2 的数据集大 7 倍多。它大大降低了错误拒绝率，并提供了更高的响应一致性和多样性。此外，它还集成了新的信任和安全工具，如 Llama Guard 2、Code Shield 和 CyberSec Eval 2。项目开源地址。
2024-07-19 14:30:40
780
原创 AI大模型将是十倍于移动互联网的最大平台革命，中国数量全球第二
5月28日，科技部新一代人工智能发展研究中心发布的《中国人工智能大模型地图研究报告》显示，中国研发的大模型数量排名全球第二，仅次于美国，目前中国10亿参数规模以上的大模型已发布79个。而从大模型区域分布来看，中国已有14个地区在开展大模型研发，其中，北京、广东、浙江、上海处于第一梯队，数量最多的北京有38个大模型，第二位的广东有20个。
2024-07-18 11:57:08
852
原创 聊天机器人：基于 LangChain框架的实现
假设有一堆文档，我们想要构建一个问答聊天机器人，它可以接收一个问题并根据文档找到答案。我们通过一个“嵌入模型(embeddingmodel)”传递文档。使用 OpenAl 的嵌入 API将文档或文档块转换为嵌入是很容易的。这些嵌入可以存储在向量数据库，如 Milvus、Chroma、Faiss 或Lance 中。用户通过一个“聊天界面(chatinterface)”进行交互并输入问题/查询。这个查询也可以使用嵌入模型转换为嵌入。
2024-07-17 11:14:11
783
原创 最新！人工智能大语言模型技术发展研究报告！
大模型发展对算力需求激增，高端AI芯片是关键。大模型需千卡以上AI芯片构成的服务器集群支撑，高端芯片供不应求。GPT-4模型参数规模达1.9万亿，训练所需GPU数量较GPT-3增加近24倍。预计到2024年，我国企业5%—8%的大模型参数将从千亿级跃升至万亿级，算力需求增速达320%。定制化算力解决方案将成为趋势。随着摩尔定律放缓，一体化解决方案已难满足特定计算需求。为实现芯片最佳性能和效率，需针对算法模型和工作负载进行针对性优化。AI芯片自研和算力优化成为重要手段。
2024-07-16 19:45:26
984
原创 大模型微调十诫：关于将微调模型部署到生产环境的十条建议
大模型微调十诫：关于将微调模型部署到生产环境的十条建议：（1）不要盲目微调模型，先尝试使用提示的方式满足需求。只有当提示无法达到质量、性能或成本目标时，才考虑微调。（2）一定要编写提示。通过提示证明任务是可行的，作为微调的基线。如果提示就可以达到要求，微调可以进一步提升；如果提示不起作用，微调成功的可能性就很低。（3）一定要检查数据质量。删除或修正问题数据。数据质量直接决定模型质量。（4）使用真实数据进行微调。即使存在一些不完美的数据也没关系，只要整体分布正确就可以。（5）留出部分数据作为测试集。
2024-07-15 20:29:26
1018
原创 最新！AI大模型的研究热点！
在人工智能的浪潮中，大模型研究如日中天，涵盖诸多研究方向，每个方向均承载着独特的研究焦点与挑战。以下，，这些方向致力于攻克大模型在实际应用中的核心难题，进而提升其性能与实用性。检索增强生成RAG凭借信息检索与文本生成的有机结合，显著提升了AI系统的效能。其核心优势在于，能够借助外部知识库辅佐生成过程，确保生成内容的精准度与鲁棒性。结合大模型所具备的卓越生成能力，RAG在问答系统、文档生成、自动摘要、智能助手、信息检索以及知识图谱填充等诸多自然语言处理场景中均展现出强大的应用潜力。
2024-07-13 20:11:12
793
原创 如何利用OpenAI将公司的文档转换成可搜索的数据库
如今的我已经摇身一变，成为了公司开源 Python 库 FiftyOne 的高级用户。我写了很多文档，而且每天都使用这个库。将文档变成可搜索数据库的过程中，我对文档的理解也进一步加深了。赠人玫瑰，手有余香。Sphinx RST 很麻烦：虽然我们可以用它制作漂亮的文档，但解析起来有点痛苦。不要为预处理浪费太多精力：OpenAI 的 text-embeddings-ada-002 模型非常擅长理解文本字符串背后的含义，尽管格式有点不常见。费尽心思删除停用词和干扰字符的日子已经一去不复返了。
2024-07-12 18:20:24
1002
原创 企业智能知识库的构建：基于RAG的解决方案
检索增强生成（Retrieval-Augmented Generation，简称 RAG）是一种先进的技术，它赋予了大型语言模型（LLMs）访问知识库中相关文档的能力，从而生成更加准确和具体的响应。1.查询处理：首先，系统会搜索知识库，寻找与用户查询相关的信息。2.上下文整合：然后，将最相关的搜索结果作为上下文信息整合到提示中，同时附加一条指令，例如：“仅使用以下段落中的信息来回答以下问题”，又或者是“参考以下段落中的内容来回答以下问题”。3.指令适配。
2024-07-11 15:13:23
725
原创 5 个遥遥领先的AI大模型 RAG 工具，必须推荐给大家
想象一下拥有一种超能力，让你能够对任何问题或提示生成类似人类的回答，同时还能够利用庞大的外部知识库确保准确性和相关性。这不是科幻小说，这就是检索增强生成（RAG）的力量。在本文中，我们将介绍五大遥遥领先的 RAG 工具或库：LangChain、LlamaIndex、Haystack、RAGatouille 和 EmbedChain。
2024-07-10 16:48:08
796
原创 一文讲清楚人工智能自然语言处理中的数据预处理（数据清洗）
根据特定领域的术语或特定的数据集特性，可能需要开发自定义的预处理规则。在以上方法中，我只挑选了部分比较常用且重要的方法进行了详细地分析和讲解并分别给出了代码示例便于大家进一步理解或者运用。数据预处理是NLP任务成功的基础，它有助于提高模型的性能和准确性。预处理步骤的选择和实现取决于具体的应用场景和数据特性。在实际应用中，可能需要结合多种预处理技术来达到最佳效果。
2024-07-09 17:20:03
1019
原创 OpenAI 说要封禁来自中国的流量，我笑了
大鱼最近有一些苦恼这两年 AI 势头发展有些迅猛，大鱼所在公司是传统行业，他们的高管也想着用 AI 来降本增效，都说 ChatGPT 是 AI 的翘楚，于是高管决定先让员工从使用 ChatGPT 开始但是直接用 ChatGPT 官网需要科学上网，有一定的门槛，高层决定部署一个面向用户的套壳 ChatGPT 网站试试水，通过调用 OpenAI api 来使用 ChatGPT。
2024-07-09 16:33:53
1032
原创 目前最全的国内AI大模型117家名单。。。
百度-文心一言作为科技大厂中首个发布的生成式AI产品，百度“文心一言”于2023年3月16日开启邀测。同年10月，百度发布文心一言最新迭代产品——文心一言4.0。11月1日，百度上线文心一言专业版，单月购买定价为59.9元/月，连续包月优惠价49.9元/月。此前已经向用户开放的文心一言基础版，仍可免费使用。百度CEO李彦宏评价说，文心大模型4.0是迄今为止最强大的文心大模型，实现了基础模型的全面升级，综合能力“与GPT-4相比毫不逊色”。智谱AI-智谱清言。
2024-07-08 20:00:35
1057
原创 一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系！！
当我们把AI大模型视作人的大脑时，调用A大模型就如同调用一个人的智慧。将AI大模型人格化，意味着它应该能够理解人类的语言（懂人话）、用人类的语言进行表达（说人话），并直接给出结果。然而，重要的是要认识到，尽管AI大模型可以提供快速的答案，但这些结果并不总是完全准确。在AI大模型的推理基础上，我们采用了多种技术手段来实现真正的AGI（通用人工智能），这些技术包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技术各自有其独特的作用和优势，但同时也相互关联，共同推动着AGI的发展。
2024-07-05 20:16:45
1178
原创 AI Agent，普通人也能抓住的AI技术的第一波红利
在AI时代，“想象力就是生产力，”AI技术的普及也对个人能力提出了新的要求。在AI时代，持续学习和适应新技术变得尤为重要。无论是企业还是个人，都需要不断更新知识体系，提升与AI协作的能力，以适应不断变化的工作环境。而普通人完全可以基于成熟的平台来发挥创造力，比如基于钉钉等平台，我们可以反向接入模型来做AI助理产品，避开“拿着锤⼦找钉⼦”的陷阱。理解并掌握AI Agent，是普通人在AI时代可以抓住的第一波红利。
2024-07-03 10:42:21
698
原创 大语言模型的应用秘诀：如何通过高效的提示词掌控AI？
大语言模型的出现，为我们开启了一种全新的方式来实现人工智能相关功能。这种方式无需我们拥有深厚的数学知识或掌握复杂的AI算法，只需通过自然语言描述，就能实现如文本生成、内容摘要、情感分析、语言翻译、代码生成等功能。然而，为了能更好地利用这些大语言模型，我们也需要深入了解其特性，并学会如何用自然语言编写更有效的提示词，以实现我们的目标。
2024-07-02 19:53:07
572
原创 【Github热门】 练完这些项目，天下没有再难倒你的大模型
LLM的应用场景不是独立的，而是和其他业务结合生成的新智能服务，这就是为什么多练习大模型项目如此重要。而理解了这点，也就知道了大模型应用的潜力有多巨大。练习项目不仅是对原理和概念的加深理解，更是对如何结合业务，业务逻辑的深度理解。要落到实际的应用场景，肯定需要对应用场景本身有足够的了解。而要理解场景，需要对大模型有足够的知识积累和实战经验。这就是为什么多练大模型项目如此重要。这些项目不仅收集了大模型训练实战，还有微调，分布式等训练，从6B到65B，从全量微调到高效微调，再到RLHF，涵盖得非常全面了。
2024-06-30 14:57:03
762
原创 字节内部热捧“7种大模型微调的方法笔记”，太完整了
当然还有很多没有开源的，比如 OpenAI 的 ChatGPT/GPT-4，百度的文心一言，谷歌的 PLAM-540B，华为的盘古大模型，阿里的通义千问，等等。与传统的微调范式不同，前缀调整提出了一种新的策略，即在预训练的语言模型(LM)输入序列前添加可训练、任务特定的前缀，从而实现针对不同任务的微调。这些大公司或者研究机构，都是有足够资源的来开发大模型，但是对于一般的小公司或者个人来说，要想开发自己的大模型几乎不可能，要知道像 ChatGPT 这样的大模型，一次训练的成本就在上千亿美元。
2024-06-29 11:54:39
762
原创 4 轮拿下字节 Offer，LLM面试题（附答案）
没有绝对的天才，只有持续不断的付出。对于我们每一个平凡人来说，改变命运只能依靠努力+幸运，但如果你不够幸运，那就只能拉高努力的占比。下文内容涉及到：面试题（含答案）+学习笔记+电子书籍+学习视频，已经打包在文末。
2024-06-28 16:40:51
612
原创 如何将LLaMA 3部署到生产中以及硬件要求?
Meta 推出了 Llama 3 开源 AI 模型的初始版本，可用于文本创建、编程或聊天机器人。此外，Meta 还宣布计划将 LLaMA 3 纳入其主要社交媒体应用程序。此举旨在与其他AI助手竞争，例如OpenAI的ChatGPT、微软的Copilot和谷歌的Gemini。与 Llama 2 类似，Llama 3 是一个可免费访问的具有开放权重的大型语言模型，由一家领先的人工智能公司提供（尽管它不符合传统意义上的“开源”）。
2024-06-27 19:42:30
773
原创 想学习大语言模型(LLM)，应该从哪个开源模型开始？
那一定是Llama3了，毕竟跟着李开复选，总是没错的。就是李开复老师创办的通用大模型「零一万物」，陷入了套壳Meta也就是Facebook开源的大模型，Llama的质疑中。据说这是李开复老师对此的回复从这里面我们可以得到一个非常明显的信号。就是李开复老师，作为一个具有顶级视野的人，没有选择重复造轮子，而是在Llama的基础上继续做。这证明了什么?
2024-06-26 17:22:44
706
原创 Llama3微调教程：超简单，人人都可以打造属于自己的GPT！
本教程详细介绍了如何使用Unsloth和Google Colab环境对Llama 3进行微调。使用Colab基本上是无脑点击运行就好了。经过这个教程，我们发现微调模型主要有三个核心环节：1.数据准备，这一步决定了质量；2.模型训练，这一步硬件资源决定了时间；3.模型测试，因为我们初步体验，所以比较简略，后续可以进一步探讨。通过本教程，即使是AI领域的新手也能够掌握大模型的微调技术。Unsloth不仅降低了技术门槛，也为个人和小团队提供了强大的工具。后续还会讨论更生深入话题。
2024-06-26 11:07:14
864
原创 初学者怎么入门大语言模型（LLM）？
如果你真心想要入门大型语言模型（LLM），只看这一个文章应该是可以入门的。但是修行下去，还是要靠自己的了！如果你把大语言模型/LLM 当成一门技术来看，那就要看一下这门技术需要什么。开发语言：Python ， C/C++开发框架和工具库： Numpy /Pytorch /Tensorflow /Keras /Onnx数学知识：线性代数、高数、概率、凸优化这些东西我们假定你都已经会了，或者熟练使用了。如果不熟，我建议你自己再学习一下。尤其是数学的几个基本公式，是要学会的。我列一下吧。
2024-06-25 18:26:01
723
原创 中国人工智能产业深度分析 2024
研究背景：在问到如何平衡ChatGPT和大学录取的时候，斯坦福大学终身教授李飞飞老师给到了这样的回答，“录取最会使用ChatGPT的前2000名学生是个很有意思的答案。“能够制造并使用工具成为人类进化史上一道显著的分水岭，而当下如何更好的使用AI工具已然成为人类在产业应用、生产生活与学习工作中的热门议题。随着大模型、生成式AI技术的到来，其强大的数据处理、学习泛化与内容生成能力，高质效加速了各行各业人工智能技术的赋能进程，为AI可赋能的场景领域、扮演角色提供更多创新性与可能性。
2024-06-24 21:09:10
667
原创 写给LLM 新人的建议，少走三年弯路（绝密收藏）
1.不要只关心微调，SFT，RLHF，作为系统性学习是OK的，切忌花太多精力。2.想做应用的，建议集中到某个垂直领域比如对话机器人，问答系统，金融/医疗/教育方向，找一个具体的场景，把它做好，做深。3.多关心数据，数据管道，高质量训练/测试集的构建经验，对数据的感觉，是最直接，也是最适合用到未来工作当中的。4.大模型不只有算法，也可以有工程。大公司拼的都是基建，平台是对业务的支撑，牛逼的基础设施是大模型产品成功不可或缺的因素。
2024-06-24 16:20:57
938
原创 年薪80w产品经理自学知识体系！产品经理存一下吧！很难找全了
随着各行各业的丰富，产品经理的岗位职责也越来越细致；如今科技发展迅速，AI人工智能已经开始深入生活中，AI产品经理也需要掌握一定的技能；本文分享了关于AI产品经理年薪80w产品经理自学知识体系！我们一起来看一下。很多刚接手做AI产品的童鞋会困扰，到底需要对人工智能技术掌握到什么程度才能够胜任好这份工作；我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
2024-06-21 10:00:11
213
原创 吴恩达教授的373页《LLM大模型通关课程手册》PDF分享，自学转行，零基础首选！
今天为大家带来由吴恩达教授与 OpenAI 共同推出的 LLM（Large Language Model）大模型通关课程手册，从理论到实践，带你全方位掌握大模型技术。从基础知识到高级应用一一为你剖析，不管你是小白还是研究生，这本书都能对你有所帮助，本手册特别结合了经典大模型开源框架LangChain，手把手教你如何基于LangChain开发出功能使用能力全面的应用。此外书中还提供了配套代码，让你在实践中加深理解，通过本手册，你将学会如何利用ChatGPT提供的API开发一个智能问答系统。
2024-06-20 16:44:13
413
原创 字节内部培训的《大模型落地应用案例集》高清PDF开放下载
前段时间，ChatGPT、Midjourney 爆火之后，大家的焦点都集中在怎么基于这些工具来写作、画画和聊天。现在，随着国内大模型遍地开花，以及 Meta 公司开源的大模型效果越来越好，企业大规模应用的时机已然来临。之前，更多人的焦点都是把 GPT 当成工作的提效工具，现在，随着大家理解的深入，越来越多的企业开始思考，怎么让自己的产品接入大模型的能力。“AI 时代，所有产品都值得用大模型重新做一遍。”最近特别多的企业都已经接入了大模型。比如一个做低代码的公司，正在用大模型的能力来提高用户建模的效率。
2024-06-19 16:35:27
940
原创 想转行AI大模型开发但不知如何下手？掌握这四个开源工具，让你领先一步！
Hugging Face是现在最大的AI开源社区，里面提供了很多的预训练模型，是一个模型库，很多人会把自己训练好的模型上传上去，大家可以免费下载使用。下载下来之后，我们就可以在此基础之上，进行微调或者推理，不用从0去训练一个大模型。并且大家可能都知道，微调模型时，数据的准备是一件费时费力的事，而在Hugging Face上也有很多的数据集，可供大家下载使用。所以Hugging Face也被人称作：AI领域的GitHub。
2024-06-18 20:04:57
831
原创 如何选择合适的大模型框架：LangChain、LlamaIndex、Haystack 还是 Hugging Face
目前生成式大模型开发应用框架，比较热门的主要有四个：LangChain、LlamaIndex、Haystack 和 Hugging Face。每个框架都提供独特的功能和能力，让我们了解一下哪个最适合你的需求。
2024-06-17 19:42:46
721
原创 秘塔 AI搜索：如何在亿万数据海洋中，高效捕捞“宝藏知识”？
在信息爆炸的时代，我们每天都在海量的数据中寻找着答案。你是否曾感到困惑，当面对搜索引擎返回的成千上万条结果时，如何避开广告快速找到最准确、最有价值的信息？从人找信息，到信息找人 … …今天，让我们一起探索智能搜索引擎——秘塔AI搜索，看看它是如何让搜索变得更加智能化，从而提升我们的搜索效率和体验。秘塔AI搜索 使用方式：网页端：https://metaso.cn/?s=xzs移动端：应用商店搜索【秘塔AI搜索】
2024-06-15 19:59:56
1763
原创 生成式AI落地指南，加速千行百业前行
在上述案例中，生成式AI一次又一次与各行业融合，成为重塑企业关键产业的强大力量。但潜在思考一下，如果AI真的把所有应用、所有产品都重做一遍，所带来的变化是否能够被想象出来？前景和现实的差距不用多说，生成式AI落地千行百业，目前的确存在难以跨越的鸿沟，想要把人工智能与业务相结合，这种能力对于企业来说还需努力前行才能具备。但今年生成式AI如飓风般汹涌，亚马逊云科技作为全球云计算领导者，其当前的技术路线选择及实战路径,正在促使其成为更多企业践行生成式AI战略的合作伙伴。一个个案例的打造，得以证明。
2024-06-14 19:35:49
732
原创 中医大模型 ，开源！
大家好，我是GitHub好项目君，每天分享GitHub上的好项目主要分享GitHub上有趣、有意义、重要的项目团队围绕“望闻问切”的核心理念，结合医学专家的深厚知识、多模态技术的创新应用，以及多生理信号的精准计算，推进模型的精准化和智能化。源代码：BianQue是一个经过指令与多轮问询对话联合微调的医疗对话大模型。该模型旨在强化AI系统的问询能力，模拟医生问诊的过程，特别注重“问”的能力，以更贴近真实医疗场景中的多轮问询。
2024-06-13 19:47:14
999
原创 一文带你搞清楚AI领域的高频术语！RAG、Agent、知识库、向量数据库、知识图谱、Prompt...都是在讲啥？
知识图谱是一种特殊的数据库，它使用图结构来存储和表示知识。这种数据库基于实体(如人、地点、组织等)和它们之间的关系。
2024-06-12 19:44:59
915
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人