- 博客(713)
- 收藏
- 关注
原创 一文详细梳理!大模型从理论到实战落地必备干货!
在人工智能的浩瀚星辰中,大模型犹如璀璨的北极星,引领着技术的前沿方向。它们不仅代表了深度学习领域的最新突破,更成为了推动各行各业智能化转型的关键力量。本文笔者总结了大模型从理论研究到实战落地所需具备的所有知识干货,与大家分享~
2024-08-16 15:23:52
422
原创 AI知识库检索增强生成(RAG)简介
检索增强生成(RAG)是通过从外部知识源纳入额外信息来增强大型语言模型(LLM)的过程。这能使 LLM 生成更准确、更能感知上下文的答案,同时还能减少幻觉。在回答问题或生成文本时,首先要从现有知识库或大量文件中检索相关信息。然后使用 LLM 生成答案,通过纳入这些检索到的信息来提高答案的质量,而不是仅仅依靠 LLM 来生成答案。下图展示了 RAG 的典型工作流程:RAG 的典型工作流程编制索引:索引编制过程是离线执行的重要初始步骤。
2024-08-15 17:54:14
783
原创 Qwen2大模型微调入门实战(完整代码)
是通义千问团队的开源大语言模型,由阿里云通义实验室研发。以Qwen2作为基座大模型,通过指令微调的方式实现高准确率的文本分类,是学习的入门任务。指令微调是一种通过在由(指令,输出)对组成的数据集上进一步训练LLMs的过程。其中,指令代表模型的人类指令,输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。在这个任务中我们会使用模型在数据集上进行指令微调任务,同时使用SwanLab进行监控和可视化。
2024-08-14 16:06:08
607
原创 LangChain4j系列:LangChain4j ChatMemory聊天记忆详解与实战
LangChain4j系列:LangChain4j ChatMemory聊天记忆详解与实战
2024-08-14 15:58:34
996
原创 《深入浅出LLM 》:大模型基础知识
上下文学习,模型以输入的提示(一段自然语言,包括任务描述,零或少量示例,推理类问题上还包含推理步骤)为条件补充生成后面的文本,本质是条件生成p(output | prompt, model),与自回归模型的预训练目标是一致的。[the, ⊔,c,a,r]\sqcup , c, a, r]⊔,c,a,r], [the, ⊔,c,a,t],[\sqcup , c, a, t],[⊔,c,a,t],[ the, ⊔,r,a,t]\sqcup , r, a, t]⊔,r,a,t] (the 出现了 3次)
2024-08-14 15:47:33
619
原创 3K star!LLM读不懂?那用可视化的方式来学吧
项目提供了一个让零基础初学者更好地了解大语言模型工作原理和内部机制的方法,通过llm-viz 提供的可视化工具来直观地展示大模型的结构和运作。这样的工具对于教学、研究和理解模型内部机制非常有帮助。
2024-08-13 16:14:44
989
原创 解密大模型训练、微调和推理运行时的性能问题
本文介绍了香港科技大学与北京大模科技的研发团队对不同大小LLMs在多种GPU平台上的性能作出的基准测试。大型语言模型(LLMs)在学术和工业界都取得显著进展,推动了开源框架和技术的更新,以加速LLMs的训练和应用。然而,在不同硬件和软件配置下,性能差异显著。香港科技大学(广州)褚晓文教授团队与北京大模科技研发团队合作对不同大小LLMs在多种GPU平台上的性能进行了基准测试,包括各种优化技术,还深入分析了LLMs的子模块,包括计算和通信操作。
2024-08-09 18:01:23
231
原创 大模型「训练」与「微调」概念详解【6000字长文】
1、大模型预训练与微调的基本流程2、预训练、训练、后期预训练、微调的区别3、大模型训练与微调的一些概念,如:Post-pretrain、SFT、RLHF、模型对齐、Lora、Q-Lora、大模型量化、微调指标、微调参数、大模型评测指标在大模型的预训练与微调过程中,我们通常面临如何告诉模型想要什么答案和不想要什么答案的问题(后者往往被大家忽略)。本节将详细阐述大模型预训练与微调的流程,包括预训练、微调的两个阶段(监督式微调SFT和对齐阶段)以及在实际操作中可能遇到的问题和解决方法。总结来说,
2024-08-09 17:55:10
1003
原创 如何成为一名AI产品经理?
(1)需要掌握的基础知识不同(2)拥有的技术知识不同(3)用户群体侧重点不同(4)产品需求来源及内容不同(5)技术方案考量维度不同03智商:衡量自我智力和学习能力的标尺;情商:衡量认知自我和他人情绪能力的标尺;机器商:衡量跟机器协同合作的能力的标尺。机器的本质是代码,代码的核心是算法,机器有机器算法,AI产品经理也必须有产品经理该有的算法,或者提升自己机器商的算法。
2024-08-07 16:06:28
620
原创 【全网最全】AIGC产品经理面试高频100题答案解析
重大更新!!!咱们的《AIGC面试高频问题以及算法模型精讲》干货大礼包再次更新啦!!这次新增了20道面试高频题目的答案详细解析,凡是下单的小伙伴后续更新都可以免费看。目前面试问题总共100道!1)目前干货文档总字数万,不管是模型基本功还是每个问题的答案都尽可能详尽;2)重点给大家深度讲解了机器学习、深度学习、AIGC三个大方向的经典模型3)每个模型从三个产品经理必懂的维度深度讲解,结合应用案例更易于大家理解4)从百度、腾讯、字节、商汤、科大讯飞等面试精选AI面试高频面试30题,5)高频面试总共。
2024-08-05 17:41:23
737
原创 AI大模型时代,产品经理需要了解什么?
prompt是发送给大模型的指令,看似门槛低,但实际上要做好也是需要一些技巧和经验的。有的人调试出来的prompt好用,而有人总是出不了稳定的效果。这就好比人类之间的沟通一样,有人的善于沟通,把事情讲的清清楚楚,滴水不漏,对方很容易理解,而有的人总是词不达意,甚至造成误会(幻觉)。我个人认为,prompt能力是可以反映产品经理的综合素养的。当然了,在未来,prompt会是AI大模型时代所有人的通用能力。:模型从尺寸上讲,有大模型和小模型;从开放性上讲,有开源模型和闭源模型。
2024-08-05 17:11:34
522
原创 立志投身大模型领域?AI产品经理必读:转行攻略指南
大模型是AI领域的一个重要趋势,具有强大的泛化能力和适应能力,在多个任务和领域上表现出惊人的成就。大模型可以利用海量的数据来学习通用的知识和能力,从而在多个场景和需求上提供高效的解决方案。大模型可以带来更好的用户体验和商业价值,在各个行业和领域中创造更多的创新和变革转行做。大模型需要海量的数据和计算资源来训练和运行,对于硬件设备、网络带宽、存储空间等方面有很高的要求。大模型涉及到很多前沿的理论和实践,对于知识水平、技术能力、学习能力等方面有很高的要求。
2024-07-29 15:58:26
729
原创 大模型真能变现!这批打工人,干着大厂的活,赚着副业的钱!!_大模型 变现
当你还在和ChatGPT尬聊时,已经有人用它搞到钱了。前段时间,国外网友给ChatGPT 100美元自创业,搭建网址、内容策划、传播全都AI搞定,甚至LOGO都是由Dall-E设计的。公司运作2天,估值飙升到25000美元。看到ChatGPT的羊毛这么容易薅,网友也纷纷按捺不住了。其实,还有另一个用「ChatGPT」赚钱的门道,而国内已经有开发者,用ta赚到了第一桶金。一次偶然经历,诞生一个项目此前,无空从未能想到,一次在家「休假」的机会,竟然让自己做起了一个项目。
2024-07-29 15:48:18
435
原创 从零开始(大白话)认知大模型--AI2.0新宠儿_怎么和小白说大模型
定义大模型是大家看科幻片里面的仿生人(人造人)的大脑,它是仿生人学习整个世界的知识形成的具有感知、认识的大脑,能够进行预测和决策,专业点说法就是大模型是一个具有大规模参数量的初始网络结构在载体芯片上对世界上的庞大数据进行学习,最终形成的一个高度浓缩了海量知识的高级网络结构,类似于新生儿对世界无知的大脑通过不断学习,发育为拥有大量社会知识的成人大脑。大模型低级目标是特征提取,高级目标是世界模型。
2024-07-29 15:42:03
878
原创 我们公司落地大模型的路径、方法和坑
假设我们正在构建一个 RAG 系统来生成 SQL 查询。我们可以简单地提供表模式和列名作为上下文。但是,如果我们包括列描述和一些代表性值呢?额外的细节可以帮助 LLM 更好地理解表的语义,从而生成更正确的 SQL。
2024-07-18 10:39:34
790
原创 钉钉请来一屋子大模型,要把开放的大旗扛到底
有很多,一类是创作类,因为公司里面的人大部分时间都在做创作,无论是员工还是设计部门还是营销部门,做文案,做规划,做营销的海报都是做创作,这是AI时代新的创作模式。以往的创作要切换各种应用,系统之间协同也挺麻烦,在使用多个独立的AI平台时,创作产品协同起来很烦,钉钉上可以协同,不仅自己可以协同,还可以跟别人协同。另外一类是RPA类,RPA其实在没有AI的时候已经有点起色,传统RPA是手工点来点去,批处理变成自动化流程,有了AI加持以后,RPA变得更智能。
2024-07-18 10:29:26
749
原创 还不试试AI大模型?能让你少加点班!
收录了52个优秀的大模型落地应用案例,这些案例覆盖了金融、医疗、教育、交通、制造等众多领域,无论是对于大模型技术的研究者,还是对于希望了解大模型技术在实际业务中如何应用的业内人士,都具有很高的参考价值。作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。💥观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
2024-07-18 10:26:09
308
原创 阿里大模型,拿下全球第一
作为阿里云精心筹备的“大招”,通义千问第二代开源模型Qwen2-72B亮相即登顶。6月27日凌晨,全球著名开源平台Hugging Face(笑脸)的联合创始人兼首席执行官在社交平台表示,在新一轮的全球开源大模型评估中,阿里开源的Qwen2-72B力压科技兼社交巨头Meta的Llama-3、法国著名大模型平台Mistralai的Mixtral,荣登榜首。图源:微博截图据阿里云官方介绍,Qwen2-72B在包括自然语言理解、知识、代码、数学及多语言等多项能力上均显著超越当前领先的模型。
2024-07-18 10:11:12
968
原创 聊聊普通工程师如何入坑大模型 | 附超详细教程!
因为我整天都在忙着钻研大模型前几天,跟强哥一起吃饭。他说,大模型的技术,真是太好玩了!他买了一台超高配置的游戏本,本来是想买回来打游戏放松放松的。结果后来发现,玩大模型的技术,比打游戏好玩太多了!我连连表示赞同,不错不错,关键是游戏本没白买啊,跑大模型正好也用得上😀(强哥是谁?不重要,你只需要知道是一位登上人生巅峰的技术大佬就好了)认真地说,以大语言模型 (LLM) 为核心的AI技术,正在如火如荼地席卷整个行业。
2024-07-16 22:25:52
886
原创 GLM-CookBook:GLM 大模型入门指南
2024年1月16日,伴随着 GLM-4 系列模型发布,全新的智谱AI第四代 API 也进入视角,第四代API 在实用性,稳定性上都做出了提升,但与第三代API有所变化。为助力大模型开发者更好地使用 GLM 系列大模型(特别是 GLM-4 等模型的API),我们联合社区开发者,共同推出了 GLM cookbook 开源项目。这个教程仓库提供了丰富的代码示例、实用指南以及资源链接,旨在帮助用户轻松掌握GLM API 的使用。该仓库覆盖了从基本API调用到高级功能的多方面内容,适合不同层次的用户。
2024-07-16 22:17:05
573
原创 产品经理内容分享:AI产品经理的入门路线图
AI技术的核心是模仿人类的学习和决策过程,以在特定任务上达到并超越人类的表现。机器学习是实现AI的一种手段,它使计算机能够通过数据学习和改进。在机器学习中,算法通过对大量数据的分析学习,捕捉数据的模式和规律,并用于预测或分类任务。深度学习是机器学习的一个分支,它以人工神经网络为基础,尤其善于处理视觉和语言识别问题。深度学习模型通常需要海量的数据来训练,它可以识别和利用这些数据中的复杂模式。AI产品经理需要理解这些原理,才能准确地与团队成员和利益相关方沟通,并作出明智的决策。
2024-07-12 11:09:46
1020
原创 闲聊人工智能产品经理(AIPM)—定义人工智能产品经理
传统的互联网是优化和创造信息存贮和传递的方式对生产要素进行整合,通俗讲就是在当前的生产要素下优化消息传输,提升生产效率,重构已有的商业模式。人工智能则是对生产要素进行升级,产生新的商业模式。还是举个例子:在互联网时代,我们出行用的是某滴之类的打车软件,本质上还是乘客打车,司机开车收取报酬,不同的是把以前路边打车整合成线上和线下结合的方式,还是司机开车乘客坐车,最终的结果是没有改变生产要素,只是生产要素和资源配置方式的优化和升级。人工智能就完全不同!
2024-07-12 10:50:46
871
原创 作为普通产品经理,转AI产品经理,需要做哪些准备?
我认为的Ai产品经理,其实它是在通用产品经理的基础上,增加了一个显著能力,就是如何运用现有的AI技术去帮助客户解决问题,并在原有工作效率,或用户体验上起到增强的效果。
2024-07-12 10:49:19
631
原创 从理论到落地,大模型评测体系综合指南
1956年夏,“人工智能” 这一概念被提出。距今已有近70年的发展历史。中国科学院将其划分为六个阶段:起步发展期(1956年—1960s),反思发展期(1960s-1970s),应用发展期(1970s-1980s),低迷发展期(1980s-1990s),稳步发展期(1990s-2010),以及蓬勃发展期(2011-)。真正的大模型历史还要从2006年Deep Learning首次在Science上发表开始,然而在2012年之前,大模型的探索与学习的关注度并不是很高。
2024-07-11 10:10:11
414
原创 大模型的落地场景有哪些?看华为、吉利、工行等10家企业的最佳实践_大模型应用场景
大模型正以其前所未有的规模和深度,重塑着我们的世界。从金融科技到智能制造,从编码助手到数据分析,大模型在多个领域展现出惊人的能力,并在实际应用中展现出巨大的潜力和价值。当前,大模型的落地场景包括等,沙丘社区精选出各个场景下落地效果较好的10个最佳实践案例,涉及等10家企业,为企业大模型落地提供参考。上汽乘用车年均销售数量近百万辆,车主日均咨询量几万+,问题经验获取平均时长为十几分钟。
2024-07-11 10:09:23
536
原创 大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章_微调大模型的gpu选型
早期阶段(1950s~1980s)在1950年代初期,人们开始尝试使用计算机处理自然语言文本。然而,由于当时的计算机处理能力非常有限,很难处理自然语言中的复杂语法和语义。随着技术的发展,自然语言处理领域在20世纪60年代和70年代取得了一些重要的进展。例如,1970年,美国宾夕法尼亚大学的Adele Goldberg和David Robson创建了一个名为Lunenfeld Project的系统,它可以进行自动翻译。
2024-07-11 10:08:29
383
原创 深度 | 啥是大模型?一篇文章看懂火遍全网的“AI大模型”
美国商业科技界正在升起两位“新神”。大多数人对马斯克很熟悉了,特斯拉汽车在中国道路上疾驰,朋友圈也经常能刷到SpaceX火箭发射和星链卫星的新闻。阿尔特曼是因为ChatGPT爆热,才被国人知晓。2023年,大模型LLM、AGI、AIGC、Prompt成为很多人口中的新名词。本文就从头开始聊一聊:啥是大模型?正文内容包括:1)啥是大模型?ChatGPT掀起了第四次AI浪潮2)百模大战:最值得关注的“100家AI大模型”3)中美争锋:“中国BAT” 大战 “美国OMG”
2024-07-10 10:19:40
766
原创 猿辅导竟然是一家AI公司?大模型全家桶曝光
已经很热闹的“百模大战”,又有人下场了。5月15日,“网信北京”公布人工智能备案新进展,其中猿辅导旗下看云大模型(以下简称“猿辅导看云大模型”)正式通过大模型备案。对比同批次公布进展的小米、快手、腾讯、爱奇艺、高德等企业来说,猿辅导的身影着实有些令人意外。毕竟,在双减风波之后,教育行业的玩家们各自寻找出路,新东方搞起了直播带货、作业帮开始搞喵喵机、猿辅导尝试了月子中心、咖啡……对比曾经的同行们,猿辅导有些剑走偏锋。而就在近日,猿辅导集团旗下飞象星球低调发布大模型场景内测视频。
2024-07-10 10:04:07
557
原创 【重磅】华为云盘古大模型5.0,正式发布!
今天,在华为开发者大会2024(HDC 2024)上,华为常务董事、华为云CEO张平安正式发布盘古大模型5.0,在全系列、多模态、强思维三个方面全新升级;张平安还分享了盘古大模型在自动驾驶、工业设计、建筑设计、具身智能、媒体生产和应用、高铁、钢铁、气象等领域的丰富创新应用和落地实践,持续深入行业解难题。此外,华为诺亚方舟实验室主任姚骏、华为云CTO张宇昕分别就盘古大模型5.0技术解密和华为云全栈系统性创新发表主题演讲,详细解读华为云在AI领域的全栈创新优势。▲华为常务董事、华为云CEO张平安。
2024-07-10 10:00:46
515
原创 转型AI产品经理,原来不需要学那么深的算法和数学模型
小白AI之路”第一篇文章已经快到尾声了,如果你坚持看到了这里,那大概率你对AI的理解和认知已经击败了你朋友圈里90%经常分享AI将改变世界取代人类的好友们。接下来我们的目标是从剩下的10%里往上爬,我也希望能够通过更有趣、更直观、更少数学的方式跟大家分享和学习AI相关知识。当然我也还是一个AI世界的小学生,也还在努力地学习和奔跑。如果大家觉得还算有那么一丢丢的收获并且身边也有朋友在关注和学习AI的话,请随肆无忌惮随意分享哈!
2024-07-09 16:27:44
859
原创 AI产品经理究竟是个什么“货色”?
一位读芯术的编辑朋友发来的文章,AI产品经理,这个词随着人工智能开始火热起来,BLUES倒不认为这是个什么新鲜的角色,凡产品经理都应该与时俱进,懂一点人工智能,是必须的,就像产品经理要懂数据分析一样,所以,就不要纠结要不要了解AI,赶紧去学习了解吧。下面是原文,这个公众号的读者都喜欢AI计算机领域的东西,后面也有很多关于AI的文章链接,喜欢的朋友可以关注一下。记得很久以前,程序员就叫程序员,需求就叫需求,美工就叫美工,测试就叫测试,只有管事管人的叫做经理。
2024-07-09 16:25:13
757
原创 一文看懂“语音识别ASR” | AI产品经理需要了解的AI技术概念
是语音交互中最基础的一个AI技术环节,大家可以先在手机上体验siri等各种语音助手,或者各种智能音箱,找找感觉:)本文,是我收集了很多线上/线下的相关信息后,提炼出的不仅帮大家节省了时间,更是过滤了很多无用信息和过于技术的内容。一、核心概念:语音识别ASR、远场语音识别(语音激活检测VAD、语音唤醒、麦克风阵列、全双工、纠错)二、当前技术边界三、瓶颈和机会附:相关资料(文章和书籍)11、(Automatic Speech Recognition),一般简称;是的过程,相当于人类的。1)
2024-07-09 16:24:22
1164
原创 保姆级的小说推文教程来啦!看完再也不怕被收费割韭菜了
小说推文,就是将知乎、番茄、UC、飞卢等官方小说平台的文案进行配音制作成音频,同时搭配精美素材画面,然后在抖音、快手、小红书等多个平台发布,引导观众到相应平台阅读完整小说内容。比如解压类的:或者游戏类的:甚至是Al绘图的:只要有用户通过关键词搜索你的小说注册了新用户,或充值了平台会员,你就能获得推广佣金。现在市面上很多推文教程都是要收费的,过分的甚至发个录播割你韭菜。这是进行推文的第一步,必须先取得授权,然后才能申请关键词,从而有效推广小说!
2024-05-18 14:12:11
1185
原创 27岁开始副业探索:分享20个搞自媒体必备网站
一个专门为活动人服务的平台|海量活动策划方案,活动设计可供下载提供大量免费的策划方案和活动案例,部分付费。2、黑猫会官网|活动策划人都在使用的工作提效平台!办活动、写方案,这个网站都提供了不少参考案例。3、大创意(www.pitchina.com.cn):大创意 有创意提供了不少创意案例,做策划啥的可以参考。4、梅花网-营销作品宝库大量创意灵感案例。5、TOPYS | 创意内容平台 OPEN YOUR MIND创意分享平台,最经典的广告文案收录在这里。6、
2024-05-18 13:50:14
606
原创 3月收入30289元,副业1705元、这才是普通人兼职做自媒体的真相
你是不是经常刷到这类文章:1.在家就能做的副业,轻松月入过万2.上班族兼职也能做,每天只要2个小时,日入200元不是梦3.有手机就能做的自媒体副业,年入百万不是梦于是你激动万分、跃跃欲试。醒醒吧,所谓的普通人做自媒体,月入过万、年入百万,真的存在吗?真的有,但那是极少数,而且是并不是我们所看到的,每天只要花一两个小时,通过手机动动手指,就能轻松赚到比主业工资还高的收入。希望能给已经开始做自媒体、或者刚准备入场的小伙伴一些参考。
2024-05-18 13:35:15
814
原创 一次讲透自媒体副业,4个零起步的能力差,和系统性打造被动收入的5个误区
今天,给大家分享4个零起步的能力差,和系统性打造被动收入的5个误区在高价值圈层中,有些人总能快速抓住机会,跟得上风口有些人,只是看看,没有觉得信息是有价值的,更别提深入开展这个副业比如我,看到机会开始尝试、并且坚持,所以拿到了正反馈有的人看到热点之后,有自己的关系和技术,能够迅速跟上,而有的人没有这方面的技术,即使看到了赚钱的机会也抓不住,只能眼睁睁的看着机会溜走。这就是在我们自媒体副业道路上,是否能成长的一些重要因素,你可以某一方面差一些,如果都不行,那还是别做副业了,这行可能不适合你。
2024-05-17 14:33:16
620
原创 做自媒体副业,赚大钱不易,赚点小钱还是很简单的
最近有很多人问我:做自媒体如何赚钱?每次遇到类似的问题,我都不知道怎么回答。每次我说:先注册一个账号,去写起来。好像显得不诚恳,可事实就是这样的。做自媒体想要赚大钱不容易,但想要赚一些小钱,就是去写,不断地写。靠这项收入没办法发家致富,但赚到一个月的水果钱,还是可以的。如果你是写作新手,想通过自媒体赚一些零花钱,不妨好好看看今天这篇文章。1️⃣有的人想写作,不知道从哪开始;有的人知道定位很重要,就一直在想定位,迟迟没有开始写。在这个阶段,重要的是坚持,而不是收入。
2024-05-17 14:23:51
581
原创 想靠自媒体副业搞钱,这份攻略请收下~
上班赚钱不给力,职场人需要,敢问年轻人谁没有动过搞副业的念头啊?根据36氪2023年发布的一篇的统计报告:01 每两个年轻人中就有一人做过副业02是最受年轻人欢迎的副业拥有了Plan B似乎就增加了选择权?看着自媒体博主的人越来越多,特别是周围有人靠副业挣了钱的你:是否陷于精神内耗出现「副业焦虑」萌生了自媒体副业搞钱的想法,但具体该怎么切入又脑袋空白~如今AI的加速发展,正赋能各行各业的工作,而在自媒体行业里,『』的出现,让内容生产运营的效率大幅提升,简直就是搞钱的「
2024-05-17 13:39:56
493
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人