![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLMForEverybody
文章平均质量分 93
真-忒修斯之船
LLMForEverybody
展开
-
Transformer架构的GPU并行和之前的NLP算法并行有什么不同?
Transformer的一个很大的优点是可以很好的利用GPU的并行计算能力,在训练大型模型时,需要考虑到模型的参数量和GPU的内存限制,这时候就需要使用FSDP和Offload等技术来优化训练过程,提高训练效率。原创 2024-09-11 14:30:00 · 1195 阅读 · 0 评论 -
智能涌现和AGI的起源
掌握强大技术的外星文明,有能力毁灭恒星,却在被他们视为杂草和虫豸的地球生物面前遭遇到挑战,因为他们发现人类所拥有的“诗艺”远在技术的控制范围之外。无法克隆人类“诗艺”的外星文明干脆开发出一种程序,以穷举的方式演算出所有文字可能的排列组合,并耗尽太阳系的全部能量,将规模惊人的数据存储起来,形成一片状如银河系的星云。原创 2024-09-11 09:47:36 · 651 阅读 · 0 评论 -
Agent设计范式与常见框架
"Agent范式"是指在人工智能领域中,特别是在设计和开发智能代理(Autonomous agents 或简称 Agents)时所采用的不同方法和技术。智能代理是指能够在环境中感知、推理并采取行动以完成特定任务的系统。在大型语言模型(LLMs)的背景下,Agent范式通常涉及到如何利用这些模型来提升代理的规划、决策和执行能力。原创 2024-09-10 09:26:02 · 711 阅读 · 0 评论 -
10分钟理解大模型的量化
量化是大模型领域中的一项关键技术,它通过降低模型参数的精度,将浮点数转换为整数或定点数,从而实现模型的压缩和优化。原创 2024-09-06 14:00:00 · 1846 阅读 · 0 评论 -
大家都谈的Scaling Law是什么?
一个农场里有一群火鸡,农场主每天中午十一点来给它们喂食。火鸡中的一名科学家观察到这个现象,一直观察了近一年都没有例外,于是它也发现了自己宇宙中的伟大定律:“每天上午十一点,就有食物降临。”它在感恩节早晨向火鸡们公布了这个定律,但这天上午十一点食物没有降临,农场主进来把它们都捉去杀了。原创 2024-09-06 09:31:09 · 829 阅读 · 0 评论 -
COT思维链,TOT思维树,GOT思维图,这些都是什么?
我认为COT能够以比较低的代价解决一些幻觉问题。但是TOT和GOT太fancy了,个人认为不太适合实际应用。与其这么复杂的prompt engineering,还不如换一个好的模型。原创 2024-09-04 15:00:00 · 1818 阅读 · 0 评论 -
开发大模型or使用大模型?
大模型的更新让人眼花缭乱,但整个大模型的生态圈,其实是分工明确的.大部分的大模型从业者都是在使用大模型,而不是在开发基座大模型.原创 2024-09-04 09:35:26 · 991 阅读 · 0 评论 -
大模型有哪些评估指标?
你可能听说过A大模型比B大模型好,但你知道如何评估这些模型吗?在大模型领域,有许多指标可以帮助我们评估模型的性能。这些指标可以帮助我们了解模型的准确性、效率和可解释性。在本文中,我们将介绍一些常用的指标,以及如何使用它们来评估模型的性能。原创 2024-09-02 15:00:00 · 1544 阅读 · 0 评论 -
大模型的参数高效微调(PEFT),LoRA微调以及其它
相较于基础大模型动辄万卡的代价,微调可能是普通个人或者企业少数能够接受的后训练大模型(post-training)的方式。微调是指在一个预训练模型(pre-training)的基础上,通过少量的数据和计算资源,对模型进行进一步训练,以适应特定的任务或者数据集。原创 2024-09-02 09:23:41 · 1031 阅读 · 0 评论 -
复变函数在大模型中的应用
我还记得实习时做自我介绍时,我说我的研究方向是复分析。面试官不太了解,我便解释说,这是关于对 -1 开平方得到的虚数 i 的研究。在人工智能领域,经常会用到的数学知识包括矩阵、概率论和一些微积分。然而,最近在研究大模型的位置编码时,我惊讶地发现了复分析的应用,10年前的记忆逐渐浮现。原创 2024-08-30 09:49:40 · 1485 阅读 · 0 评论 -
大模型的latency(延迟)和throughput(吞吐量)有什么区别?
Latency:延迟,指的是从输入到输出的时间,即从输入到输出最后一个 token 的时间;Throughput:吞吐量,指的是单位时间内处理的任务数,即每秒处理的 token 数。原创 2024-08-30 09:33:23 · 974 阅读 · 0 评论 -
FlashAttention v2相比于v1有哪些更新?
FlashAttention V2在减少计算量和内存访问的同时,保持了算法的精度和效率,实现了更快的Attention计算。这些优化使得V2版本在A100 GPU上前向传播的速度提升了大约2倍,达到了理论计算峰值的50%-73%。原创 2024-08-28 10:21:59 · 757 阅读 · 0 评论 -
从欧拉公式的美到旋转位置编码RoPE
RoPE非常巧妙的借助复平面和欧拉公式,将位置信息编码到了query和key向量中,使得模型能够利用上token之间的相对位置信息。RoPE的设计思路是将query和key向量进行旋转,这就是旋转的由来。原创 2024-08-28 09:47:23 · 871 阅读 · 0 评论 -
最美的数学公式-欧拉公式
也许你在某些场合听说过欧拉公式,也许你干脆对数学不感冒。机缘巧合下,你点开了这篇文章,大致浏览了下然后关闭,继续为自己的工作学习忙碌。这不妨碍你暂停忙碌的脚步,欣赏她的美。若干年后,你应该不曾记得看过这篇文章,但你会记得数学界有一个很美的公式。原创 2024-08-26 19:15:58 · 870 阅读 · 0 评论 -
什么是大模型的位置编码Position Encoding?
位置编码(Positional Encoding)是一种在处理序列数据时,用于向模型提供序列中每个元素位置信息的技术。在自然语言处理(NLP)中,尤其是在使用Transformer模型时,位置编码尤为重要,因为Transformer模型本身并不包含处理序列顺序的机制。位置编码的主要目的是让模型能够区分输入序列中词的顺序,从而更好地理解句子的结构和含义。.原创 2024-08-26 18:55:46 · 859 阅读 · 0 评论 -
CRUD/ETL工程师的末日?从NL2SQL到ChatBI
2024Q2陆续有互联网大厂chatbi落地的消息传出:比如阿里云+一汽落地了chatbi报表体系;火山引擎在飞书发布了datawind chatbi工具,支持在制定数据集上的chatbi能力。在ChatBI落地中,会遇到哪些问题,该如何解决呢?原创 2024-08-22 19:49:18 · 685 阅读 · 0 评论 -
我是怎么通过2022下半年软考高级:系统架构设计师考试的
我感觉2021年以后的选择题和之前的选择题还是有很大区别的,2020年之前的选择题,做题的时候基本都能拿个60+,但是21年的题只有50多分,22年的考试只有49分。考第一门的时候,题越做越慌,前面的题基本都是没有复习到的,只能排除掉1-2个错误答案,还好后面的题都是复习到的重点题。第二题,软件维护的方法,做过但是没有准备;心里有点慌张,我在第二题和第四题之间徘徊,最后,因为我本身是做AI的,再加上我之前做过数据湖,数据仓库,也准备过数据治理的论文,我准备将之前准备的东西再改造下,出一篇湖仓一体的论文。原创 2024-08-22 19:42:00 · 827 阅读 · 0 评论 -
大模型落地难点之幻觉
大模型出现幻觉,简而言之就是“胡说八道”。用《A Survey on Hallucination in Large Language Models》文中的话来讲,是指模型生成的内容与现实世界事实或用户输入不一致的现象。原创 2024-08-21 16:41:15 · 1077 阅读 · 0 评论 -
Langchain向左,扣子向右
对于很多人来说,langchain和扣子更像是面向两类人群的工具,langchain作为当下最流行的agent开发框架,面向大模型应用开发者;而扣子,更多的是娱乐性质的,玩家可以以最低无代码--只用prompt engineering的方式捏自己的bot,并分享到社群。而现在,随着类似扣子类平台API的深入开发,langchain的地位受到了挑战。原创 2024-08-21 16:34:58 · 896 阅读 · 0 评论 -
大模型落地难点之输出的不确定性
大模型的token生成本质上是基于概率的,当输入完全一致的时候,输出也会不一样。原创 2024-08-19 19:16:33 · 1032 阅读 · 0 评论 -
大模型output token为什么比input token贵?
近年来,许多商业大模型的价格不断下降,但你是否注意到一个关键细节:output token 的价格通常比 input token 高出几倍。这背后究竟是什么原因呢?原创 2024-08-16 22:54:42 · 283 阅读 · 0 评论 -
大模型落地难点之结构化输出
当需要把大模型嵌入到工作流中(尤其是原有的工作流),就需要大模型和原工作组件进行交互,在这种情况下,我们期望大模型的输出是结构化数据(Json)原创 2024-08-16 22:22:48 · 971 阅读 · 0 评论 -
10分钟私有化部署大模型到本地
如今, 私有化部署一个大模型早已不是什么有门槛或技术含量的工作了,更多的只是一种信息差而已。照着这个教程来,即使小白也可以在本地部署大模型。原创 2024-08-14 16:58:42 · 523 阅读 · 0 评论 -
如何评判大模型的输出速度?首Token延迟和其余Token延迟有什么不同?
如果你使用商用大模型,或者使用开源大模型本地化部署,除了生成的质量之外,另外一个关键的指标就是生成token的速度。而且并不是简单的每秒生成多少个token,而是拆成了两个阶段: 1. prefill:预填充,并行处理输入的 tokens。 2. decoding:解码,逐个生成下一个 token。原创 2024-08-12 19:52:34 · 1360 阅读 · 0 评论 -
(万字长文)Prompt Engineering-解锁大模型的力量
你知道周期性函数只要满足狄利克雷条件,傅里叶级数就能完美地表示它;你知道在没有观测之前,原子处于衰变和未衰变的叠加状态,因此薛定谔的猫也处于既死又活的叠加状态,直到有人打开盒子进行观测;你知道世事洞明皆学问,人情练达即文章;你知道如何让800公斤的牛安全地通过一座承重700公斤的桥;你知道夏目漱石将“I Love You”翻译成“今晚月色真美”;面对喜欢的人时,你却不知道从何说起。每次打开聊天框,脑海里浮现的只有简单的“在吗?”原创 2024-08-07 22:09:06 · 548 阅读 · 0 评论 -
过去式就能越狱大模型?一文了解大模型安全攻防战!
男人不坏,女人不爱。这句话在谈恋爱领域不知道是不是真的,在人工智能领域倒是先应验了。「人工智能不坏,人类不爱。」原创 2024-08-06 19:26:08 · 947 阅读 · 0 评论 -
看懂FlashAttention需要的数学储备是?高考数学最后一道大题!
多年以后,面对FlashAttention,你会忍不住想起高三上学期的那节数学课。那时,暑假刚刚结束,烈日当空,教室里就像蒸笼一样,连空气都懒得流动。阳光透过窗帘的缝隙,像个顽皮的小孩,时不时跳到黑板上,给老师的公式镀上一层金边。老师在黑板前唾沫横飞,激情四溢地讲述着什么“等比数列”和“极限”,而你的脑袋却飞到了食堂,幻想着中午能不能抢到那份热气腾腾的番茄炒蛋。原创 2024-08-06 15:32:05 · 631 阅读 · 0 评论