- 博客(275)
- 收藏
- 关注
RSS订阅原创 AI视频修复速度10倍提升，过曝变色也能逐帧搞定｜美图国科大新算法
家人们，消除（比如画面突然一白）有新招了！回想一下，当你看一部老电影或者用手机拍摄的视频时，画面偶尔会出现等现象。为了消除这些，来自美图影像研究院、中国科学院大学，以及四川大学的研究人员提出了。新算法。更妙的是！这种方法甚至无需事先知道视频闪烁的具体类型或程度。换句话说，它是的，可以应用于各种不同的视频。这下，即使拍摄环境光线变化，或者相机硬件跟不上也无需头疼了。[doge]目前相关论文已被ECCV 2024接收。感兴趣的话，咱们接着康康~
2024-07-22 09:27:26
427
原创 第一本给程序员看的AI Agent图书重磅上市！＜大模型应用开发 动手做 AI Agent＞！！！
自从 ChatGPT 诞生以来，大模型技术在业界可谓炙手可热，人们从最初的惊叹到现在广泛应用，而人工智能的下一个引爆点很有可能就是 AI Agent。《大模型应用开发：动手做 AI Agent》从零基础出发，介绍了 Agent 的定义、特性与技术架构，还对构建 Agent 的 AI 技术工具进行了详细讲解，最后以 7 个实战项目展示了 Agent 开发的方法。本书的一大特点是。
2024-07-22 09:23:19
314
原创 Transformer动画讲解：注意力计算Q、K、V_注意力计算中的d
暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。提前准备才是完全之策。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。Transformer的起源：Google Brain 翻译团队通过论文《Attention is all you need》提出了一种全新的简单网络架构——Transformer，它完全基于注意力机制，摒弃了循环和卷积操作。注意力机制是全部所需。
2024-07-21 10:45:00
405
原创 Transformer 动画讲解：单头注意力和多头注意力_单头注意力机制
暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。提前准备才是完全之策。最近，我们又陆续整理了很多大厂的面试题，帮助一些同学解惑答疑，分享技术面试中的那些弯弯绕绕。Transformer的起源：Google Brain 翻译团队通过论文《Attention is all you need》提出了一种全新的简单网络架构——Transformer，它完全基于注意力机制，摒弃了循环和卷积操作。注意力机制是全部所需。
2024-07-20 10:30:00
603
原创 通过语音预测自杀风险：多模态大语言模型的新进展
本研究通过采集参与者在任务设置下自发产生的语音数据，利用多模态大数据模型融合文本和音频信息，为精准预测自杀风险开辟了新的可能性。
2024-07-19 10:30:00
834
原创 大模型“玩”Excel更6了，微软搞的
大模型理解、推理Excel，现在变得更加精准了。这就是来自的一项最新研究——，主打的就是让大模型有条不紊地处理各种电子表格任务。例如在下面这张图中，如果用传统的大模型方法，会直接忽略掉“R5:R14”这列数据。然而，这一列数据其实是与左侧单元格有着较强的语义关系，表示这些值在左侧单元格中的百分比。现在有了SPREADSHEETLLM，这种有难度的已经是可以轻松应对了。再如当Excel表格里存在结构稀疏或者有大量空格单元的时候，大模型在上也会出错，最终导致结果的错误。
2024-07-19 09:15:00
541
原创 视频上下文学习！大模型学会“照猫画虎”生成，结合模拟器还能精准控制真实环境交互，来自MSRA
视频生成也能参考“上下文”？！MSRA提出（Video In-Context Learning, Vid-ICL），让大模型学会“照猫画虎”式。Vid-ICL通过一段示例视频来指导模型在新场景下的生成，使得生成结果可以在新场景下“模仿”示例视频中完成的任务。
2024-07-18 18:24:34
539
原创 动手做Agent：产品经理与程序员的相爱想杀
这也是我的开发小伙伴一直青睐的开发框架，实践证明：Langchain 确实可以胜任企业定制开发的需求，且 Langchain 的迭代速度也非常快，经常可以看到一旦有新论文、新技术出现，Langchain 会第一时间跟进。在行文风格上，整本书是以“咖哥”和“小雪”对话的方式展开的，可以说黄佳老师绝对是产品经理友好型风格的程序员，就像我的开发伙伴（公众号 AI 小智）一样，每次都能把技术深入浅出地分享给我，可以说我的成长真的离不开这样一群开发同学的助力。整本书的内容中，实践、动手大约占 70%。
2024-07-18 17:55:01
722
原创 LangChain + ChatGLM 实现本地知识库问答
本文使用LangChain+ChatGLM来实现一个简单的基于本地知识库的问答系统，可以在完全不使用openai提供的api来完成本地知识库问答系统的搭建，如果有需要做本地私有化知识库问答系统的，可以参考此方案。
2024-07-18 09:51:48
1230
原创 ChatGLM 集成进LangChain工具
本文简单介绍下如何将自己搭建的ChatGLM集成进LangChain工具链中，并且进行简单的试验的效果。当然如果有其他自己搭建的LLM模型也可以采用类似的方式集成。后续将使用ChatGLM来实现一个本地知识库做问答系统。
2024-07-18 09:50:00
631
原创 大模型LLM量化 , 5个基础技术知识
写这篇文章原因下载 qwen 110B 模型发现不同量化占的内存差异很大,就想搞明白到底量化会着重影响哪方面的推理能力Qwen1.5-110B-Chat的显存全精度部署(32 精度)占用220GB;8bit量化部署Qwen1.5-110B需要113GB显存;4bit量化部署Qwen1.5-110B，需要62GB显存大型语言模型（LLMs）的量化是减小其大小和内存使用的关键策略，同时努力保持其质量。这种压缩技术对于在计算能力有限的设备上部署高级模型至关重要。
2024-07-17 09:45:24
1303
原创 LangChain居然不香了？一线程序员现身说法，硬核博文剖析LLM应用开发原则
最近，Hacker News热榜上出现了一篇「声讨」LangChain的技术文章，得到了评论区网友的一致呼应。去年还火遍LLM圈的LangChain，为什么口碑逆转了？2023年是属于LLM初创公司的一年，也是属于LangChain的一年。这个发布于2022年10月的开源框架可以支持开发者构建由LLM驱动的应用程序，目前依旧是社区中一种不可忽视的开发范式。更具体地说，基于LLM构建应用程序的过程有点像在搭积木。即使模型本身的能力已经很强大了，我们依旧需要其他的组件和工具才能更好发挥其潜力。
2024-07-16 09:28:42
659
原创 干货：26个用好AI大模型的提示词技巧
研究人员指出，与LLM交互时，无需多余的礼貌用语。直接、清晰地提出问题是关键。例如：“描述人体细胞的结构。”这样的提示既直接又明确，有助于模型迅速准确地给出答案。
2024-07-16 09:23:30
757
原创 汇总！7种大模型的部署方法！
选择部署框架的关键在于任务需求。只有根据实际需求来确定合适的框架，才能确保项目的顺利推进和成功实现。因此，在选择部署框架时，我们应该深入了解框架的特性、优缺点以及适用场景，综合考虑项目规模、技术栈、资源等因素，从而选择最适合的框架来支撑项目的实施。这样不仅可以提高开发效率，还能降低项目风险，确保项目的顺利推进和最终成功。
2024-07-15 10:42:11
657
原创 终于有人总结了大模型技术！
在深入研究LLaMA、ChatGLM和Falcon等大语言模型时，我们不难发现它们在技术实现上有着诸多共通之处与独特差异。例如，这些模型在tokenizer（分词器）的选择上，可能会根据模型的特性和应用场景来定制；位置编码（Positional Encoding）的实现方式也各具特色，对模型性能的影响不容忽视。此外，Layer Normalization（层归一化）和激活函数（Activation Function）的选择与运用，都直接影响到模型的训练速度和准确性。
2024-07-15 10:37:44
1090
原创 从 RAG 到 Self-RAG —— LLM 的知识增强
事实上这种 LLM 主动使用工具并进行判断的方式并非 Self-RAG 首创，在此之前的 AutoGPT, Toolformer 和 Graph-Toolformer 中早已有之，而且支持多种 API 调用。针对 graph reasoning 任务设计少量 API Call 样本基于 ChatGPT 对 prompt 进行 augmentation使用现有 pre-train LLM 进行模型 fine-tuning。
2024-07-13 10:07:22
632
原创 粉笔大事件！首个职教行业垂域大模型问世
7月12日，粉笔在北京举办“粉笔AI智教无界”发布会，正式推出自主研发的首个专注于职教行业的垂域大模型，并宣布即将上线粉笔AI老师“粉笔头”，为用户提供更加高效的备考陪伴，引领职业教育进入AI全面赋能的4.0时代。粉笔CEO张小龙亮相发布会现场 本报记者 董添/摄粉笔CEO张小龙表示，科技才是效率提升的“王炸”。粉笔在ChatGPT问世之前，就一直有一支高水平的人工智能算法的团队。“在新技术出来之后，我们非常顺理成章地扩大了这个团队，在人员和算力的投入上都非常坚决。”张小龙说。
2024-07-13 09:55:03
583
原创 一个有经验的程序员如何10分钟利用大模型做开发
DuckDB发布1.0版本后，貌似性能很强悍的样子，它是一个单机的嵌入式数据路，支持SQL语言操作数据，所以现在的需求是：基于DuckDB实现一个数据关联碰撞分析的功能。以上，大模型已经按提示要求，完成了JSON格式规范的定义，其实它还把规范的必填、可选、描述、每个结构的示例都输出了，只是这里没有粘贴上来。根据需要内容，首先找一下有没现成的JSON转SQL的规范和开源框架，发现还没有符合要求的，所以需要定义JSON格式规范。2、根据JSON格式规范，采用JAVA语言开发解释代码，生成最终的SQL查询语句；
2024-07-12 10:21:40
579
原创 大模型时代，程序员当下如何应对 AI 的挑战
随着 AI 技术的飞速发展，特别是大模型的出现，传统的程序员角色正在经历深刻的变革，我们不得不重新对自己进行审视和思考。
2024-07-12 09:42:08
843
原创 重磅发布：《2024大模型典型示范应用案例集》，纵览最新最全产业应用实践！（附PDF）
迈向AGI：大模型焕新与产业赋能”论坛以《案例集》等重磅成果发布为契机，联手行业顶尖专家与领军企业代表，共建开放包容的大模型产业生态，共商人工智能时代的新机遇与新挑战，共促人工智能产业应用落地与AGI发展，为加快构建新质生产力与推动新型工业化贡献力量。论坛上，中国信通院华东分院以及蚂蚁集团、中国联通上海分公司、云天励飞、九章云极DataCanvas、联影智能、智象未来、印象笔记、阿里云、上海工创中心、松鼠Ai、中企通信等优秀案例单位代表，上台共同见证权威研究成果《案例集》的正式发布。
2024-07-12 09:26:59
319
原创 基于大模型的 Agent 进行任务规划的10种方式
定义 Agent 要调用的工具，一个用于获取句子中不同汉字的数量的函数，同时将工具函数绑定到模型上"""用于计算句子中不同汉字的数量"""# 将工具函数绑定到模型上# 构建一个Agent，它将处理输入、提示、模型和输出解析agent = (),| prompt。
2024-07-11 09:51:24
592
原创 ai大模型Autogen多Agent系统详细保姆级实践介绍，亲身实践展示代理效果
AutoGen提供了一个统一的多代理对话框架，作为使用基础模型的高级抽象。它的特点是功能强大、可定制且可对话的代理，这些代理集成了llm、tools、和 human。通过在多个有能力的代理之间自动化聊天，可以很容易地让它们共同自主地执行任务或使用人工反馈，包括需要通过代码使用工具的任务。该框架简化了复杂的LLM工作流程的编排、自动化和优化。它最大限度地提高了LLM模型的性能，克服了它们的缺点。它支持以最小的工作量构建基于多代理对话的下一代LLM应用程序。AutoGen。
2024-07-11 09:42:13
841
原创 【人工智能 】一文介绍五种基本 Agent
在人工智能领域，Agent 是一个核心概念。Agent 是指具有感知环境、决策和执行能力的实体。它可以是一个简单的程序，也可以是一个复杂的系统。Agent 的研究可以追溯到 20 世纪 50 年代，当时被称为“智能体”或“自主体”。随着人工智能技术的发展，Agent 的概念和应用也越来越广泛。智能化：Agent 将越来越智能化，能够处理更加复杂和动态的环境。分布式：多智能体系统将越来越普及，如何实现高效的分布式决策和执行是一个挑战。安全性。
2024-07-11 09:35:54
403
原创 使用Llama3/Qwen2等开源大模型，部署团队私有化Code Copilot和使用教程
使用开源大模型作为团队的 Code Copilot 工具，可以提高团队的开发效率，同时也可以保护团队的代码隐私。虽然目前开源的 LLM 相比闭源商用的 LLM 还有一些差距，但是随着开源 LLM 的不断发展，相信两者的差距以后会越来越小。以上就是今天介绍的内容，希望对大家有所帮助。。
2024-07-10 10:08:33
645
原创 智谱ChatGLM3本地私有化部署（Linux）_chatglm 3 私有化部署
确保你的服务器或计算机满足智谱ChatGLM3的硬件要求，包括处理器、内存和存储等方面。智谱ChatGLM3支持多种操作系统，如Linux、Windows和macOS等。选择适合你的操作系统，并确保它符合智谱ChatGLM3的要求。安装Python并配置相关环境。智谱ChatGLM3通常需要Python 3.10或更高版本。如果你计划使用GPU进行模型训练和推理，你需要安装相应的GPU驱动和CUDA工具包，并确保你的GPU与智谱ChatGLM3兼容。
2024-07-10 09:57:38
759
原创 【LLM-RAG】知识库问答 | 检索 | embedding
BGE，即BAAI General Embedding，是由智源研究院（BAAI）团队开发的一款文本Embedding模型。该模型可以将任何文本映射到低维密集向量，这些向量可用于检索、分类、聚类或语义搜索等任务。此外，它还可以用于LLMs的向量数据库。BGE模型在2023年有多次更新，包括发布论文和数据集、发布新的reranker模型以及更新Embedding模型。BGE模型已经集成到Langchain中，用户可以方便地使用它。此外，BGE模型在MTEB和C-MTEB基准测试中都取得了第一名的成绩。
2024-07-10 09:52:30
1228
原创 深度学习embedding方法，降维，以及pytorch中使用embedding
Embedding，中文直译为“嵌入”，常被翻译为“向量化”或者“向量映射”。在整个深度学习框架中都是十分重要的“基本操作”，不论是NLP（Natural Language Processing，自然语言处理）、搜索排序，还是推荐系统，或是CTR（Click-Through-Rate）模型，Embedding都扮演着重要的角色。1.1 什么是Embedding形式上讲，Embedding就是用一个低维稠密的向量“表示”一个对象。
2024-07-10 09:45:52
980
原创 手把手教你用ChatGLM3-6B部署大模型！学不会你扇我！
在当今的技术领域，大型语言模型已经成为了人工智能研究的热点之一。这些模型，如OpenAI的GPT系列、阿里巴巴的通义千问、百度的文心一言等，都是通过海量数据训练而成，能够理解和生成自然语言。它们的界面设计简洁直观，使得用户无需深入了解背后的复杂算法，就能轻松地利用这些工具来解答问题、撰写文本、甚至是进行创意写作。尽管这些大型模型在许多方面都表现出色，但它们在面对某些特定领域的专业性问题时，往往显得力不从心。例如，当需要根据一个需求文档生成精确匹配的测试案例时，这些模型可能无法提供满意的解决方案。
2024-07-10 09:30:18
752
原创 RAG还是微调？微软出了一份特定领域大模型应用建设流程指南
检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。不过，对这两种方法的优缺点了解的却不够充分。本文中，来自微软的研究者引入一个新的关注点：为需要特定背景和自适应响应的行业（农业）创建 AI 助手。
2024-07-09 09:34:56
866
原创 有浏览器就行，手把手带你从零微调大模型！
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
2024-07-09 09:27:17
1219
原创 支付宝医疗大模型亮相！中英文考试超GPT4，已落地江浙沪一线医院
支付宝医疗大模型亮相！中英文医疗考试、基准测试达到甚至超过GPT-4水准。此外，其医疗专业能力在中文医疗LLM评测榜单promptCBLUE中，位列A榜第一，B榜第二。模型在识别报告、药品、毛发等图像准确率中达90%以上。WAIC现场，支付宝还联合人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构，联合发起AI医疗共建计划。
2024-07-09 09:14:56
730
原创 举个例子给大家讲下transformer的输入输出细节及其他
最近由于工作需要，将transformer的相关资料看了下，网上很多关于transformer的讲解，但是很多都只讲了整个架构，涉及到的细节都讲的不是很清楚，在此将自己关于某些细节的体 会写出来，大家一起学习探讨下。下图是transformer的原始架构图，就不细讲了。对于机器翻译来说，一个样本是由原始句子和翻译后的句子组成的。比如原始句子是： “我爱机器学习”，那么翻译后是 ’i love machine learning‘。
2024-07-08 09:42:15
817
原创 24个Transformer模型高效魔改变体盘点，无bug拿来即用！
FlashAttention是一种新的算法，它使得Transformer模型（一种广泛用于自然语言处理的深度学习模型）在处理长文本序列时能够更快且更节省内存。这个算法通过优化GPU内存的使用来减少内存读写次数，从而提高了计算效率。实验结果表明，使用FlashAttention训练的模型不仅训练速度更快，而且能够处理更长的文本序列，提高了模型的性能和能力。
2024-07-08 09:40:21
533
原创 上海交大＜动手学大模型＞大模型教程已经next level！
的动手学大模型教程，对大模型感兴趣的直接冲！就在4月份上交大发布了动手学大模型教程，这份教程来自上海交大**《人工智能安全技术》**课程讲义拓展，教师是是张倬胜教授。目的是通过简单实践，帮助大家进行大模型设计和学术研究。这份教程不仅提供了大模型的入门编程教学，每个部分还包含非常适合新手学习。
2024-07-08 09:34:06
469
原创 用AI大模型将CSV文件转为图谱，发现数据间关系，以健康医疗场景为例
最近，我发现了一个 neo4j-runway 项目。Neo4j Runway 是一个 Python 库，简化了将关系数据迁移到图数据库的过程。它提供了与 OpenAI 交互的工具，用于数据发现和生成数据模型，还提供了生成代码和将数据加载到 Neo4j 实例中的工具。换句话说，通过上传 CSV 文件，大模型将识别节点之间关系，并自动生成知识图谱。在健康医疗领域，知识图谱是一种强大的工具，用于组织和分析复杂的医疗数据。
2024-07-07 09:30:00
1173
原创 使用AI大模型的正确姿势！接入知识库、微调，5种方法，总有一种适合你
真正的魔力在于结合这些方法：提示词、RAG、微调、切换模型和使用多模态大模型。利用每种方法的优势，并将其应用于文本和图像数据，以此用大模型提升你的生产力。
2024-07-06 10:00:00
767
原创 AI产品经理能力模型的重点素质：人文素养和灵魂境界
在AI产品经理的能力模型中，我最想提的，就是“人文素养和灵魂境界”。1为了让 Alexa 拥有「人」的性格，亚马逊找了很多女性来做性格塑造——2）：在养老院里，有2个老人，一个要看新闻台，一个要看体育台，机器人该怎么办？3）：AI机器人被用户给教坏了（有种族歧视、脏话等等），怎么解决？心理学上，小孩子会有“依恋对象”（比如妈妈），在被教育提升时，她说的话占绝对领先的权重（比如90%）；所以，也可以设定某个群体/个体的用户，对某个具体的AI机器人有更大的影响力权重。
2024-07-05 10:06:40
1043
原创 转型AI产品经理前需要搞懂的9个问题
笔者近10年来一直工作于AI领域技术和产品一线，今天分享9个大家普遍关注却少有人系统回答的问题。从四方面看：（1）技术角度：逐步成熟且仍有大量创新；（2）价值角度：从带动生产效率、效益提升角度有巨大潜在价值；（3）政策支撑：核心产业规模目标2030年达万亿；（4）机遇：增量市场空间依然很大，行业落地走向分化，有更多AI+纵向赛道孕育新机遇。AI产品经理需要了解AI相关的技术，但处于不同产业链层的产品经理对技术要求不同。AI产业链中划分为应用层、技术层、基础层。
2024-07-05 10:01:11
864
原创 干货分享：中国人工智能大模型技术白皮书，大模型入门从0-1，看完你算是学完了半个大模型！
1.1 大模型技术的发展历程 …51.2 大模型技术的生态发展 …91.3 大模型技术的风险与挑战 …11。
2024-07-05 09:56:08
1494
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人