- 博客(44)
- 收藏
- 关注
RSS订阅原创 为何整个 AI 领域都朝着 AI Agents 这一方向发展？
文章的核心内容是阐释和探索 “AI Agents” 这一概念，这种技术将在决定和影响未来发展方向上变得越来越关键。期望读者能通过阅读本文对 “AI Agents” 有一个全方位的认识，不仅掌握它们的基本特性，还能了解到它们是如何被运用于各种行业场景中的。接下来，本文将展开讨论这些内容。
2024-07-05 11:23:41
619
原创 探索 LLMs 在数据标注中的应用潜力：观察、思考与前景展望
目前，LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究入手，全面评估了 LLMs 在数据标注领域的应用前景。
2024-07-05 11:22:24
817
原创 AI大模型全攻略：从零基础到精通的详尽入门指南
AI大模型，作为人工智能领域的璀璨明珠，是依托海量数据与尖端计算能力精心雕琢的智慧结晶。这些模型不仅拥有令人瞩目的准确性，更展现出卓越的泛化能力，轻松跨越自然语言处理、图像识别、语音识别等多个复杂领域，为人类社会带来了前所未有的变革与机遇。
2024-07-04 14:34:19
1034
原创 Next-Level Agents：释放动态上下文（Dynamic Context）的巨大潜力
本文深入探讨了如何通过优化动态上下文信息（Dynamic Context）来提升 AI Agents 的工作效率和准确性。文章首先概述了五种常见的技术策略，包括信息标识(Message Labeling)、针对不同需求设定不同上下文、优化系统提示词(System Prompts)、精简 RAG 系统中冗余信息，以及其他处理上下文的高级策略。
2024-07-04 10:47:32
978
原创 精打细算用好 LLMs ：LLM 落地应用成本及响应延迟优化
LLMs 被视为 AI 领域的一个里程碑式的突破，但要将其应用于实际生产环境，并且还能用对、用好并非易事。模型的使用成本和响应延迟是目前将大语言模型（LLMs）应用于生产环境中的核心难题之一。在本期刊载的这篇文章中，作者从自身项目的实践经验出发，分享了一系列实用技巧，帮助优化 LLM Prompt ，能够一定程度上降低大模型的使用成本和响应延迟。文章首先解析了导致高成本和高延迟的根源在于输入输出 tokens 的数量，而非任务本身的复杂度。
2024-07-04 10:46:11
907
原创 手撕LLM，弄懂这些，你大模型就算入门了
手撕LLM，不仅是对其技术细节的深入剖析，更是对人工智能未来可能性的深刻思考。通过理解LLM的基本原理、关键技术、应用与挑战，我们不仅能够掌握这一领域的入门知识，还能为未来的创新与发展奠定坚实的基础。在这个过程中，让我们保持好奇心与探索精神，共同见证人工智能的无限可能。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-07-03 11:28:47
1153
原创 Netflix 机器学习科学家的提示词优化经验分享
得益于大语言模型基于文本对话的简单交互界面，使用它们已不再是专业人士（数据科学家或机器学习工程师（MLE））的“私房菜”。普通大众只要掌握一定的语言能力，就可以直接与这些模型对话交互，借助它们的能力解决较为复杂的问题。不过，在使用 LLM 解决问题时，我们得到的结果很大程度上取决于提供给模型的文本提示词。由于这个原因，提示词工程（通过大量的实证试验和反复优化，指导如何为特定任务设计高质量的prompt）变得极其受欢迎和具有影响力，行业目前已经积累了诸多有效的技术手段和优秀的实践方法。
2024-07-03 11:21:35
822
原创 检索生成(RAG) vs 长文本大模型：实际应用中如何选择？
大模型的上下文理解能力直接影响到 LLMs 在复杂任务和长对话中的表现。本期内容聚焦于两种主流技术：长上下文(Large Context Windows)和检索增强生成(RAG)。这两种技术各有何优势？在实际应用中，我们又该如何权衡选择？文章不仅详细阐述了这两种技术的工作原理，还深入分析了它们在效率、准确性和实施成本等方面的差异。文章特别提到了在执行重复性任务时使用 Context Caching 优化长上下文的优势，然而，缓存策略的效果很大程度上取决于提示词的可预测性。
2024-07-03 11:20:02
707
原创 【绝对干货】AI提示工程(Prompt Engineering)最佳实践
由于模型的上下文长度是固定的，因此用户和助手之间的对话（整个对话都包含在上下文窗口中）无法无限期地进行下去。解决这一问题的方法有很多，其中之一就是对对话中的前几轮进行总结。一旦输入的大小达到预设的阈值长度，就会触发一个查询，对部分对话进行总结，而之前对话的总结可以作为系统消息的一部分。或者，在整个对话过程中也可以在后台异步地对之前的对话进行总结。另一种解决方案是动态选择与当前查询最相关的先前对话部分。
2024-07-02 11:31:20
1144
原创 OpenAI突发新模型：用GPT改进GPT训练，左脚踩右脚登天，RLHF突破人类能力上限
OpenAI突然发布新模型！。，用于给代码挑Bug时能找到75%以上，而相比之下人类只能找到不到25%。它还可以给Bug写“锐评”，在60%的情况下人类训练师更喜欢有CriticGPT帮助下的批评。有网友开玩笑说，“只会批评的GPT，这不是我前妻么”。但这项研究最重要之处在于，CriticGPT挑错能力可以泛化到代码之外。比如在RLHF训练中给AI的输出挑错，而且。更好的RLHF就能训练出更强的模型，更强的模型又能通过更好地挑错来增强RLHF训练……左脚踩右脚上天，难道真的被这帮人给搞出来了？
2024-07-02 11:28:55
735
原创 AI太火，今年更缺人了 （含实习）
AI太火了！眼睛一睁一闭，一大堆新鲜出炉的前沿科技进展已经塞满未读列表。许多公司更是开出了高薪，如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-07-02 11:27:02
401
原创 华东师范大学的老师 上课已经用上了大模型
高校师生在信息化应用中，不仅要数字化，更要智慧化，要让技术深度融入教学、科研、管理、生活的方方面面，带来实实在在的效率提升与体验优化。所有这些要求，汇成一句话，就是对新时期的IT产品和服务提出了更高要求，既要让使用者简单易上手，又要保障系统的安全稳定运行，这需要厂商深入了解教育的业务特点，围绕师生核心需求点或痛点来设计方案，并提供贴身的实施交付与运营维护服务。
2024-06-30 16:14:40
868
原创 扛鼎中国AI搜索，天工凭什么？
这就像一家公司有多个部门，在做决策的时候，公司的CEO可以听从市场部、生产部、策划部甚至财务部相关专业领导的建议，最终产生最优的决策。按照以往经验，较大的模型通常有更好的性能，但代价是更大的计算需求。MoE偏偏不认这个邪，它通过计算量大大减少的模型预训练来挑战这一规则。MoE模型提升了模型规模，但是却没有因此成倍地增加推理成本，MoE技术上的可持续性，被认为是下阶段大模型发展破局的突破口。而昆仑万维正式推出的新版MoE大语言模型「
2024-06-30 16:10:58
633
原创 被大模型折腾不行了，奉劝不要轻易入行
科技的进步，生产力就很容易提升，进而就是不需要过多的人。最近在尝试借助一些工具，提升做事的效率，初步试验感觉很不错。网络上所有的东西，确实都可以利用新平台重做一遍。现在火的东西越来越让人看不懂，一首挖呀挖火遍全网，看完后感触是什么？内容越简单越直白，其实更容易火，越是高深的东西，火的概率越小。你看有深度的电影，票房大概率不高，但爆米花电影就不一样。别给自己过多的心理负担，什么都要去尝试，说不定有些东西就突然火了。
2024-06-29 17:49:09
905
原创 什么是机器学习,机器学习与人工智能（二）机器学习的类型
的一个分支，专注于开发模型和算法，让计算机从数据中学习并从以前的经验中改进，而无需为每项任务进行显式编程。简而言之，机器学习通过从数据中学习，教会系统像人类一样思考和理解。通常是一种从过去的经验中学习并随着时间的推移提高性能的培训系统。有助于预测大量数据。它有助于提供快速、准确的结果以获得盈利机会。
2024-06-29 17:48:13
689
原创 2024最新最全【大模型学习路线规划】零基础入门到精通！
目标：了解大模型的基本概念和背景。内容：人工智能演进与大模型兴起。大模型定义及通用人工智能定义。GPT模型的发展历程。目标：深入学习大模型的关键技术和工作原理。内容：算法的创新、计算能力的提升。数据的可用性与规模性、软件与工具的进步。生成式模型与大语言模型。Transformer架构解析。预训练、SFT、RLHF。目标：掌握大模型开发所需的编程基础和工具。内容：Python编程基础。Python常用库和工具。提示工程基础。目标：通过实战项目深化理论知识和提升应用能力。
2024-06-28 10:28:44
732
原创 机器学习和人工智能之间的区别
人工智能（AI）和机器学习（ML）是更广泛的计算机科学领域中两个密切相关但又不同的领域。人工智能是一门专注于创建智能机器的学科，这些机器可以执行通常需要人类智能的任务，例如视觉感知、语音识别、决策和自然语言处理。它涉及开发可以根据输入数据进行推理、学习和决策的算法和系统。另一方面，机器学习 (ML) 是人工智能的一个子领域，涉及教导机器从数据中学习，而无需明确编程。机器学习算法可以识别数据的模式和趋势，并使用它们来做出预测和决策。
2024-06-28 10:27:30
626
原创 AI 实战：手把手教你使用「扣子/coze」来搭建个人blog知识库
从 2022 年的 OpenAI 的ChatGPT3.5发布，AI 技术迅速火遍全宇宙。全人类开始都在讨论 AI 技术的未来和人类自己的未来。比如“AI 是否能够替代人类”、“AI 究竟是什么？”、“AI是否能增加每个人的失业风险”、“安全与隐私问题如何平衡”、“AI 是否会导致社会的不平等问题加剧？”等等的话题。2023 年是可以说是 AI 技术的发展元年。很多有能力的公司都在做自己的LLM文心一言Qwen云雀语言大模型Genimi天工大模型混元大模型ChatGLM2Llama2GPT-4。
2024-06-28 10:22:40
955
原创 AI产品经理如何快速接手一个新产品？
，我们具体看看。**一、了解**首先，我们要先来了解这个产品，不管是已经成型的，还是你要计划去做的。1.了解产品的定位、背景、愿景。2.了解产品的目标用户人群。3.了解产品的功能、特点。4.了解产品当前存在的问题。5.如果你感兴趣，还可以了解下产品的技术问题，比如技术架构，使用的开发语言，系统框架，数据库，服务器等。6.了解的方法：1）
2024-06-27 11:51:04
913
原创 机器学习 中数据是如何处理的？
数据处理是将数据从给定形式转换为更可用和更理想的形式的任务，即使其更有意义、信息更丰富。使用机器学习算法、数学建模和统计知识，整个过程可以自动化。这个完整过程的输出可以是任何所需的形式，如图形、视频、图表、表格、图像等等，具体取决于我们正在执行的任务和机器的要求。这看似简单，但对于 Twitter、Facebook 等大型组织、议会、联合国教科文组织等行政机构以及卫生部门组织来说，整个过程需要以非常结构化的方式执行。
2024-06-27 11:49:10
561
原创 人工神经网络是什么，其应用有哪些？
当你阅读这篇文章时，你身体的哪个器官正在考虑它？当然是大脑！但是你知道大脑是如何工作的吗？嗯，它有神经元或神经细胞，它们是大脑和神经系统的主要单位。这些神经元接收来自外部世界的感觉输入，它们对其进行处理，然后提供输出，这些输出可能充当下一个神经元的输入。这些神经元中的每一个都以突触的复杂排列与其他神经元相连。现在，你想知道这与人工神经网络有什么关系吗？好吧，人工神经网络是以人脑中的神经元为模型的。让我们详细看看它们是什么以及它们如何学习信息。
2024-06-27 11:48:05
575
原创 速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型
对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作：首个代码大模型 Codestral 诞生了。作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语，因而可为软件开发人员设计高级 AI 应用。Codestral 的参数规模为 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和测试目的，但禁止商用。
2024-06-26 11:11:06
888
原创 使用langchain搭建本地知识库系统(新)
RAG是的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM的语料知识库。LLMLangChain是一个用于开发由语言模型驱动的应用程序的框架。具有上下文感知能力：将语言模型与上下文源（提示说明、少量镜头示例、基于其响应的内容等）联系起来。原因：依靠语言模型进行推理（关于如何根据提供的上下文回答，采取什么行动等）py复制代码 import osos.environ["QIANFAN_AK"] = "" # 这里需要修改为自己的实际值。
2024-06-26 11:09:34
719
原创 AI产品经理薪资揭秘与零基础转行攻略
随着人工智能技术的蓬勃发展，AI产品经理这一岗位逐渐成为了市场上的热门选择。关于AI产品经理的薪资水平，很多人都有一个普遍的认知：高薪。那么，AI产品经理的薪资是否真如传闻中那样30k起步呢？零基础的人又能否成功转行成为AI产品经理呢？本文将为您揭秘AI产品经理的薪资真相，并提供零基础转行的实用攻略。一、AI产品经理薪资揭秘AI产品经理的薪资水平确实相对较高，但并非所有AI产品经理的薪资都能达到30k起步。
2024-06-25 13:41:56
1743
原创 深入了解 langchain 输入输出（message/output）
我们今天讨论了langchain的prompt输入以及output输出1、输入我们使用来构建输入，可以用来构建一个比较复杂的prompt, 他会构造一个的列表，并在输入到llm的时候会自动格式化相关的字符串。也就是当我们跟 LLM 去对话的时候，我们的输入的内容需要与 LLM 的保持一致，langchain 帮助我们做到了这一点。2、对于输出output，我们同样不需要自己去解相关返回值，langchain可提供了很多的函数，比如常用的等等。方便我们在解析不同的输出格式的情况下的数据解析过程。3、使用。
2024-06-25 13:33:41
726
原创 深入了解 langchain - template/prompt概念解惑
1、上面介绍了 LLM 的两种类型（LLM，ChatLLm）他们的区别是 LLM 只是单轮对话，而 ChatLLM 是续写模式，也就是通常的多伦对话。这种模型可以简单的记住历史对话的内容。不过现在的相关的 LLM 厂商已经淡化单轮还是续写，所以我们以后可以使用 ChatLLM 就可以了。2、我们跟 LLM 去对话，就需要 prompt， langchain 提供了几个函数可以帮助我们定义 prompt 的格式。HummessageAIMessage这些类型 langchain 都帮我们形成对应的role。
2024-06-25 11:59:28
949
原创 重磅首发！AI大模型浪潮下的学习、拥抱与共创之路
随着2023年大模型技术的迅猛发展，我们迎来了前所未有的技术变革。特别是在中文大模型领域，SuperCLUE基准测评体系的建立和多模态能力的突破，为各个行业带来了深远影响。如今，从金融、矿山到教育、医疗，再到电子游戏、内容创作及算力行业，大模型正以其独特的价值深度渗透，并在金融风险评估、诊疗优化、内容生成、智能交互等领域发挥着关键作用。特别是在多模态技术的推进下，如Gemini的发布，视频、图像、语音等处理能力得到了极大提升，进一步加速了AI在内容创作、汽车应用、智能驾驶、机器人等领域的变革。
2024-06-24 11:59:30
527
原创 LLM 中什么是Prompts？如何使用LangChain 快速实现Prompts 一
什么是promptLangchain 中 构建。使用 langchain 构建消息类型。prompt 选择器的类型，以及为什么需要选择器。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-06-24 11:53:04
796
原创 构建 LLM 应用为什么需要文本加载器，langchain 中如何使用文本加载器？
有关支持哪些 csv 参数的更多信息，请参阅 csv 模块文档python复制代码 loader = CSVLoader(file_path='./example_data/mlb_teams_2012.csv', csv_args={})本文主要介绍了 langchain 中已经提供的文本加载器txtcsvpdfmarkdownhtmljson，以及基本的使用方式和使用场景。这些不同类型的文本加载器加载完成文本后langchain都统一为Document对象，提供使用。
2024-06-24 11:51:06
892
原创 拼多多大模型算法工程师面试，面试官很nice（附面试题）
大模型的 honest原则是如何实现的?模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力?如何解决 PPO 的训练过程同时存在4个模型(2训练，2推理)，对计算资源的要求较高问题?从考察问题延展到考察知识点，再到如何优雅回答一面俱全，可以说是求职面试的必备宝典，每一部分都有上百页内容，接下来具体展示，完整版可直接下方扫码领取。6.领域模型 Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识?5.领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力?
2024-06-21 17:19:42
1706
原创 LLM 学习之「向量数据库」
向量数据库是一种以向量或数据点的数学表示形式存储数据的数据库。人工智能和机器学习使非结构化数据能够转换为捕获意义和上下文的数字表示（向量），这得益于自然语言处理和计算机视觉的进步。矢量相似性搜索 （VSS） 是矢量数据库的关键功能。它是查找与向量数据库中给定查询向量相似的数据点的过程。常用的 VSS 用途包括推荐系统、图像和视频搜索、自然语言处理和异常检测。例如，如果构建推荐系统，则可以使用 VSS 查找（并建议）与用户以前表现出兴趣的产品类似的产品。信息有多种形式。
2024-06-21 16:30:12
432
原创 一篇文章带你学会向量数据库Milvus（二）
如果我们要使用自定义索引，请在index_type参数中指定特定索引类型。ini复制代码 index_params = client.create_index_params() # 准备一个 IndexParams 对象field_name="scalar_2", # 标量字段名称index_type="INVERTED", # 明确索引类型index_name="inverted_index" # 索引的名称collection_name="demo_v4", # 将索引添加到集合中。
2024-06-21 16:29:07
1234
原创 一篇文章带你学会向量数据库Milvus（一）
向量数据库是一种专用系统，旨在通过向量嵌入和数值表示来管理和检索非结构化数据，这些数据项捕获图像、音频、视频和文本内容等数据项的本质。与使用精确搜索操作处理结构化数据的传统关系数据库不同，向量数据库在使用近似最近邻 （ANN） 算法等技术进行语义相似性搜索方面表现出色。此功能对于开发跨各个领域的应用程序（包括推荐系统、聊天机器人和多媒体内容搜索工具）以及解决 AI 和 ChatGPT 等大型语言模型带来的挑战至关重要，例如理解上下文和细微差别以及 AI 幻觉。像Milvus。
2024-06-20 17:27:36
438
原创 RAG实操教程，LangChain + Llama2 | 创造你的个人LLM
本文将逐步指导您创建自己的RAG（检索增强生成）系统，使您能够上传自己的PDF文件并向LLM询问有关PDF的信息。本教程侧重于图中蓝色部分，即暂时不涉及Gradio（想了解已接入Gradio的，请参考官网）。Llama2ChromaDB核心在于Langchain，它是用于开发由语言模型支持的应用程序的框架。LangChain就像胶水一样，有各种接口可以连接LLM模型与其他工具和数据源，不过现在LangChain正在蓬勃发展中，许多文件或API改版很多。以下我使用最简单的方式示范。
2024-06-20 17:26:36
527
原创 RAG实操教程: langchain+Milvus向量数据库创建你的本地知识库
本文主要是 Milvus 向量数据实战总结。LLM 痛点以及解决方案RAG 是什么，为什么选用RAG。langchain文档加载器，chat model文档拆分的注意点，chat model区别。chat 示例代码。
2024-06-19 15:27:53
1788
1
原创 RAG优化技巧|7大挑战与解決方式|提高你的LLM能力
本文探讨了使用RAG技术时可能面临的七大挑战，并针对每个挑战提出了具体的优化方案，以提升系统准确性和用户体验。缺失内容：解决方案包括数据清理和提示工程，确保输入数据的质量并引导模型更准确地回答问题。未识别出的最高排名：可通过调整检索参数和优化文件排序来解决，以确保向用户呈现最相关的信息。背景不足：扩大处理范围和调整检索策略至关重要，以包含更广泛的相关信息。格式错误：可以通过改进提示、使用输出解析器和Pydantic解析器实现，有助于按照用户期望的格式获取信息。
2024-06-19 15:25:58
550
原创 构建RAG驱动的应用程序中的路由
根据用户查询的意图在RAG应用程序内路由控制流可以帮助我们创建更有用、更强大的基于检索增强生成 (RAG) 的应用程序。我们希望用户能够交互的数据很可能来自各种来源，例如报告、文档、图像、数据库和第三方系统。对于基于业务的RAG应用程序，我们可能希望使用户能够与来自业务中一系列领域的信息进行交互，例如来自销售、订购和会计系统的信息。由于数据源的多样性，信息存储的方式以及我们想要与之交互的方式也可能是多种多样的。有些数据可能存储在向量存储中，有些数据存储在SQL数据库中，有些数据可能需要通过API。
2024-06-18 10:00:00
686
原创 再不学AI人工智能就要落后了？
作为一个分布式人工智能系统，Chat GPT已经成为当今最受欢迎的自然语言处理技术之一。但是，对于普通人而言，对这种技术的了解可能还不够深刻。在本文中，我们将讨论Chat GPT以及背后的AI技术，它们的作用是什么以及为什么老百姓需要了解AI技术。首先，AI即人工智能，简单来说，就是让机器模拟人类的思考过程和行为。经过多年的发展，人工智能已经涉及到了多个领域，如医疗保健、教育、金融和工业等等，其应用越来越广泛，越来越深入。
2024-06-18 09:45:00
924
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人