m0_71745484的博客

核心点：完整讲解Transformer模型！讲透一个强大算法模型，Transformer！！首先，咱们先用很直白的语言描述一下：想象你在读一本书，每一页都有很多词。如果你每次只能看到一个词，那么理解整本书会很慢。而Transformer模型就像是你有一个超能力，可以同时看到整页的所有词，还能根据上下文判断哪些词更重要，这样你就能更快更准确地理解书的内容。下面，咱们从各方面进行对 Transformer 解释，和大家一起学习一下~基本概念。

自前美团联合创始人王慧文去年2月率先下场，随后各大厂高管相继创业大模型和AI。经乌鸦君整理发现，自2023年以来，至少有34位互联网大厂高管曝出转向大模型和AI创业。其中，在34位大厂创业者中，有字节背景的创业者高达7位，占比20.59%。这也让字节取代百度，成为这轮AI高管创业潮最大的人才供给方。要知道，上一轮AI浪潮，百度是“输送”创业者最多的大厂，从百度出走“门徒”创立的AI公司多达26家，而如今只有3位。创业者数量的变动，一定程度上反映大厂竞争力的更迭。

大模型是指具有大规模参数和复杂计算结构的机器学习模型。本文从大模型的基本概念出发，对大模型领域容易混淆的相关概念进行区分，并就大模型的发展历程、特点和分类、泛化与微调进行了详细解读，供大家在了解大模型基本知识的过程中起到一定参考作用。ChatGPT对大模型的解释更为通俗易懂，也更体现出类似人类的归纳和思考能力：大模型本质上是一个使用海量数据训练而成的深度神经网络模型，其巨大的数据和参数规模，实现了智能的涌现，展现出类似人类的智能。那么，大模型和小模型有什么区别？

你近期有体验过哪些大模型产品呢？你有使用大模型API做过一些实际开发吗？在你日常开发中，可以与大模型相关应用结合来完成工作吗？从去年底开始，大模型的发展趋势就非常迅猛，这也代表着人工智能进入了一个新的时代。以上几个话题，在程序员话题圈中长期位列榜首，大家都跃跃欲试，期望在这次AI风口上抢占先机。但是盲目规划和学习，不仅会耗费你大量的精力，还有可能事倍功半。那作为程序员的我们，该如何赶上这趟“列车”？认知和规划是重中之重。本月，国内在大模型领域的发展中，再次取得了令人瞩目的成就。

今天聊一聊大模型，我们都知道AI的三大要素是：算法、数据、算力。那什么是算法？什么又是模型呢？什么又是大模型呢？（1）算法是一系列解决问题的明确指令或步骤。算法可以是通用的，也可以是针对特定问题设计的。在机器学习中，算法通常指的是学习过程中的优化方法，比如梯度下降算法、随机梯度下降算法、决策树算法等。算法是实现模型训练和预测的基础。（2）模型是算法在特定数据上学习得到的表示。它是一个抽象的概念，可以理解为对现实世界中某个现象或过程的简化和抽象。

01 总览这篇文章提出了一种新型的序列建模方法，名为Test-Time Training（TTT）层，旨在解决现有循环 神经网络（RNN）在处理长文本时表达能力受限的问题。作者指出，尽管自注意力机制在处理长文本方 面表现出色，但其计算复杂度呈二次方增长。相比之下，传统的RNN层虽然具有线性复杂度，但其隐藏 状态的表达能力在面对长文本时会受到限制。文章的核心思想是将隐藏状态设计成一个机器学习模型本身，并将更新规则作为自监督学习步骤。

先说答案： 不同模型可能采用各自的切分方法，因此，一个 Token 所对应的汉字数量也会有所不同。如腾讯1token≈1.8个汉字，通义千问、千帆大模型等1token=1个汉字，对于英文文本来说，1个token通常对应3至4个字母， 不同的模型对相同的输入分词， 分词结果是不一样的。同样可以说，一个汉字占约0.5个Token。‌Token 是大模型中最基础、最常见的概念，它既可以是一个完整的单词，也可以是一个单词的一部分，甚至是标点符号或空格。

人工智能（AI）作为当代科技的热点领域，其背后离不开坚实的数学基础。本文旨在探讨学习人工智能所需的数学知识及其相应的路线规划，帮助初学者系统地掌握这一领域的核心技能。一、数学基础知识的重要性数学是人工智能发展的基石，它不仅为算法设计提供了理论基础，还直接决定了模型的准确性和效率。因此，掌握必要的数学知识是学习人工智能的先决条件。二、必要的数学知识线性代数线性代数是人工智能领域最基础的数学工具之一。

世界人工智能大会刚刚结束，大家的一个共识就是做大模型应用。作为一名数据工作者，自己也一直在进行大模型应用的探索，下图列出的是我认为在数据领域具备潜力的十大价值应用：针对每个应用，我对其可落地性进行了评估，如下所示，五星代表非常靠谱，一星代表离实用还有距离。数据清洗和标准化：★★★★★ (5星)自然语言查询接口：★★★☆☆ (3星)数据分析和洞察生成：★★☆☆☆ (2星)元数据管理和数据目录增强：★★★★☆ (4星)数据隐私和匿名化：★★★★☆ (4星)智能数据集成：★★☆☆☆ (2星)

世界人工智能大会刚刚结束，大家的一个共识就是做大模型应用。作为一名数据工作者，自己也一直在进行大模型应用的探索，下图列出的是我认为在数据领域具备潜力的十大价值应用：针对每个应用，我对其可落地性进行了评估，如下所示，五星代表非常靠谱，一星代表离实用还有距离。数据清洗和标准化：★★★★★ (5星)自然语言查询接口：★★★☆☆ (3星)数据分析和洞察生成：★★☆☆☆ (2星)元数据管理和数据目录增强：★★★★☆ (4星)数据隐私和匿名化：★★★★☆ (4星)智能数据集成：★★☆☆☆ (2星)

股票时间序列预测传统的股票时间序列预测主要依赖统计和计量经济学方法，如自回归滑动平均模型（ARMA-GARCH）、向量自回归模型（VAR）、状态空间模型、扩散模型和误差修正向量模型（VECM）。这些模型通过识别金融系列中的模式和波动性，对市场进行分析和预测。随着机器学习的发展，决策树、支持向量机（SVM）等方法逐渐受到重视。近年来，深度学习技术如循环神经网络（RNN）、卷积神经网络（CNN）和Transformer模型的应用显著提升了股票时间序列预测的精度和效率。

人工智能产业的蓬勃发展，带来了人机交互模式的革新。自2022年11月OpenAI发布ChatGPT以来，大语言模型已经深刻影响了我们的工作和生活。作为未来大模型最主流的使用方式，智能体这一概念备受业界关注。智能体（AI Agent），作为一种能够自主行动、感知环境、做出决策并与环境交互的计算机系统或实体，通常依赖大型语言模型作为其核心决策和处理单元，具备独立思考、调用工具去逐步完成给定目标的能力。

Meta于昨日宣布推出其最新且最强大的开源模型Llama 3.1 405B，此模型拥有4050亿参数，支持长达128K tokens的上下文长度。该模型在15万亿tokens的数据集上进行训练，是Meta史上首次以如此大规模训练的Llama模型。Llama 3.1 405B在超过150个基准测试中表现出色，能够与业界顶尖的闭源模型如GPT-4o、Claude 3.5 Sonnet和Gemini Ultra媲美。

基于大模型的生成式AI正以前所未有的速度重塑各行各业的生产方式和创新路径，展现出了强大的潜力。作为企业决策者必须意识到，AI不仅仅是工具，更是一种战略资产甚至企业文化。它可以放大企业的优势，但如果未能正确理解并合理应用，也可能带来巨大的风险与损失。在这篇文章中，我们将揭示8个关键事实，帮助决策者与技术管理者在应用生成式AI时避免常见的误区，掌握主动权。不要被铺天盖地的生成式AI、大模型、GPT等词汇带入信息茧房。生成式AI是在近两年呈现指数级爆发的人工智能技术，但它也只是AI技术的一部分。

在金融科技快速发展的时代，银行的业务模式和客户需求都发生了巨大变化。为了应对日益激烈的市场竞争，银行必须依托先进技术，提升客户服务水平和营销效率。银行智能营销助手应运而生，它通过结合知识图谱和大模型（LLM），帮助银行精确获取客户信息、分析市场需求、定制个性化营销方案，为银行的精准营销提供强大助力。本文将详细介绍银行智能营销助手的核心架构和功能，实现路径，并探讨其在未来的发展趋势。一、知识图谱与金融大模型的完美结合在银行智能营销助手的系统中，知识图谱与金融大模型（LLM）的紧密结合是关键。

前几天看到一张梗图，差点笑发财了…生动形象的展现了这几年商业广告的现状：但凡产品带个屏幕、内部有块电路板，厂家就宣传「内置AI」，要是产品能联网，就直接吹是「AI驱动」！这几年AI的火爆，一如十年前的互联网思维，上点年纪的同学对当年「万物+互联网」的盛况应该记忆犹新吧。且不谈这种火爆是不是良性，至少我们从中看到了就业趋势和就业机会。当年「万物+互联网」催生了无数的产品经理（老K自己也是其中一员），如今新人胜旧人，产品经理不吃香了，我们是不是要考虑果断踏上AI的列车？

曾经我是一名Java开发者，在过去的日子里，经历了夜以继日的加班、浑浑噩噩的摆烂。如今，作为一名从智学优课毕业的AI大模型从业者，职业生涯再度焕发活力，生活也变得非常愉快。接下来，我将转变前后的这段经历分享给大家。01 挣扎– 在Java岗位上焦躁不安很早之前，我在一家小公司担任Java开发人员，每天忙于增删改查。虽然收入不高，但公司氛围不错，福利也还可以，我原以为这样的生活会一直延续下去。然而，2022年底，ChatGPT的出现给我带来了巨大的压力。

在这个科技日新月异的时代，AI（人工智能）已不再是遥不可及的科幻概念，AI已来，AI时代已来，AI已逐步渗透到我们生活的方方面面。从语音识别、图像识别到自然语言处理，从智能制造到智慧医疗，从金融风控到教育创新，AI的应用场景越来越广泛，越来越深入。AI正在改变着世界的面貌。AI技术的快速发展，为各行各业带来了巨大的机遇。与此同时，它也给人们带来了前所未有的挑战。有人担忧，AI的崛起，人类的危机。毕竟，AI看起来太无所不能了，而人类，无知又自大，愚蠢又懒惰。

研究背景在现代医疗体系中，门诊接待是患者就医体验的第一道关口，其质量直接影响患者的就医体验和后续治疗效果。然而，目前的医院接待系统主要依赖人力，这不仅耗费大量人力资源，还需要接待人员具备丰富的专业知识。研究显示，门诊患者的抑郁症状发生率高达27%，远高于健康人群，这凸显了在门诊就医过程中提供共情支持的重要性。与此同时，接待护士也面临巨大压力。数据表明，护士的倦怠和抑郁发生率高达34.2%-57.2%。在有限的时间内需要应对大量患者咨询，护士们往往难以保持回应质量和同理心，特别是在医疗资源紧缺的地区。

（一）研究背景国家发展改革委发布的《关于推进 “上云用数赋智” 行动 培育新经济发展实施方案》中，“数字孪生” 技术与云计算、人工智能等前沿技术一样，受关注程度上升到国家高度。近年来，在数实融合的大背景下，数字孪生以其全息映射、仿真推演、分析预测、实时交互等能力，正成为企业全面深化数字化转型的核心支撑技术之一。生成式人工智能（AIGC）则为人类社会打开了创造世界的大门，有望在各个领域带来生产力的革命性飞跃。

虽然八字刚有一撇，但智谱AI概念股的光环，已经让豆神教育连续两日涨停。10月25日，豆神教育发布公告称，公司将与北京智谱华章科技有限公司和海南何尊网络科技有限公司签署《战略合作框架协议》，成立合资公司专注于AI教育产品的技术研发及销售。合资公司认缴注册资本5亿元，其中豆神教育出资比例70%，智谱华章出资比例25%，何尊网络科技出资比例5%，三方都以现金方式出资。在公告中，豆神教育也简要概述了交易目的，以及对公司的影响。

AI智能体在大模型的作用和价值主要体现在以下几个方面：增强智能体的决策分析能力： 大模型作为智能体的核心组件，提供智能推理和决策能力，提升智能体的整体水平和服务质量。大模型的推理分析能力使得智能体在信息处理方面更加强大，能够更好地理解和生成内容，从而在执行任务时更加精准和高效。扩展智能体的应用场景： 基于大模型的智能体可以自然语言交互能力增强，使其应用场景更多，提高了体验感。在教育领域，AI智能体能够提供个性化学习、智能辅导、智能评估等功能，有效提升教学效果和科研效率。

前言本篇文章，我们重点围绕客服场景，详细介绍如何通过AI 大模型替代传统智能客服系统。传统智能客服系统主要包括知识库、机器人、人工坐席、智能质检、工单管理等核心模块。虽然智能客服已经是一个发展了很多年的成熟领域，但仍然面临非常多的痛点。第一，机器人配置成本高。传统智能客服往往需要穷举业务上的各种问题和答案，提前准备好大量的FAQ，甚至每个问题还要提供10个以上的相似问。因为机器人并没有真正理解用户提问的真正意图，只是在做简单的相似度匹配。整个机器人的配置过程是非常繁琐的，至少需要3个月以上的时间。

AI大模型如何重塑软件开发流程？引言随着人工智能（AI）技术的飞速发展，AI在软件开发中的应用越来越广泛。AI不仅可以提高开发效率，减少错误，还可以优化整个开发流程。然而，AI的引入也带来了一些挑战和问题。本文将探讨AI在软件开发中的优势，面临的挑战，以及应对策略。一、AI在软件开发流程中的优势提高开发效率自动化代码生成：AI工具如GitHub Copilot和Tabnine可以自动生成代码片段，减少开发人员的手动编码时间，提高开发速度。

AI的发展速度真是超出我们的想象，遥想几个月前，我还在使用Ollama跑本地大模型，最近有另一款可以跑本地大模型的工具迅速崛起，在GitHub上已有70.3K Stars，相信不久就会超越Ollama，除了可以本地运行大模型之外，还可以当作本地知识库使用，查询本地的文档信息结合大模型进行回答，真可谓太方便了。更重要的是，完全免费，可商用，这个工具就是：GPT4ALL。官网地址：https://www.nomic.ai/gpt4all。

当前AI模型从单模态向多模态演进，有望实现认知智能，是AI未来发展的明确趋势。近期 AI 多模态模型不断取得突破性进展。OpenAI 于11 月发布了 GPT-4 Turbo 且开放了 GPTs再次颠覆行业，GPTs短期上线数量已超3万，揭开AIGC应用生态序幕。海外初创公司PikaLabs正式推出的AI视频生成工具Pika1.0火爆全球，Pika1.0包括一个能生成和编辑 3D 动画、动漫、卡通、电影等各种风格视频的全新 AI 模型。

近日，MiniMax 的 AI 视频生成应用「海螺 AI」网页版的访问量暴增，在 9 月增速超 800%。「海螺 AI」、「可灵」等国内 AI 视频生成应用因其生成视频的质量效果较好，在 Reddit 等海外社交平台引起了大量关注。2024 年，AI 市场关注的重心正逐渐从「模型」到「产品应用」转变。除了常规的 AI 文本对话类应用，多模态的「多」正在成为新的方向。自 Sora 推出，国内的主要公司陆续跟进，布局视频、音乐、语音等多模态 AI 应用。

近日，MiniMax 的 AI 视频生成应用「海螺 AI」网页版的访问量暴增，在 9 月增速超 800%。「海螺 AI」、「可灵」等国内 AI 视频生成应用因其生成视频的质量效果较好，在 Reddit 等海外社交平台引起了大量关注。2024 年，AI 市场关注的重心正逐渐从「模型」到「产品应用」转变。除了常规的 AI 文本对话类应用，多模态的「多」正在成为新的方向。自 Sora 推出，国内的主要公司陆续跟进，布局视频、音乐、语音等多模态 AI 应用。

这篇文章目的是改变你工作生活与智能化交互的习惯，从而提升效率300%以上。这篇文章关注点为精力管理和效率管理相关的逻辑、工具与方法论。AI火起来的这两年，我经常想什么人需要AI，至少管理者应该是不需要，因为管理者的职责主要是管理人、组织工作流程、制定决策以及确保团队达成目标，更多地涉及人力资源和策略层面的工作。如果AI普及了，那么你让管理者下去一线去管AI，管AI即用生产工具，那岂不是违背管理的本质。

随着人工智能技术的发展，大模型成为了近年来的热门话题之一。本文旨在为初学者提供关于大模型的基础知识介绍，并探讨其对企业的影响、应用领域的就业前景以及如何系统地学习大模型。大模型之所以能够取得比传统模型更好的性能，主要得益于以下几个方面：强大的表达能力：大量的参数使得模型可以更好地拟合复杂的数据分布。预训练+微调机制：通过在大规模数据上进行预训练，然后针对特定任务进行微调，大模型可以有效地利用迁移学习的力量。

AI大模型项目实战：智能校园的秘密——深度剖析AI数字校园架构与解决方案在这篇文章中，我们将详细解读一幅关于AI数字校园架构的图示，深入剖析其各个功能模块和层级的解决方案，探讨AI技术如何在校园环境中落地实施，以提升教育、管理和决策的智能化水平。文章将逐层分析从用户交互到技术基础设施的架构内容，并针对每个模块给出详细的解决方案，帮助理解该架构如何通过AI技术为师生及管理者提供智能化的服务。一、用户层：多角色智能化交互用户层是AI数字校园的表层，它将直接服务于三类核心用户：学生、教师和管理者。

探索智能体作为自主机器人操作系统在数字与实体自主系统中的未来发展方向。介绍在之前的帖子中，我着重讨论了AI智能体（Agents）日益增长的能力和趋于融合的架构。从今天开始，我想把重点转向它们不断演变的生态系统，以及AI智能体将如何在数字空间中体现自主性。AI智能体通过探索和与数字领域（如网络和移动操作系统）的互动来获得自主性。然而，最近的研究也开始关注模拟作为AI体现的新前沿，通过模拟现实世界的场景，智能体可以增强其学习和决策能力。AI智能体作为机器人操作系统。

AI通过大规模的数据训练和先进的算法构建而成的，能够模拟人类的智能，处理各种复杂的任务。它可以理解我们的语言，回答我们的问题，甚至还能生成文章、图像、音乐等各种内容。比如说，当我们向它提出一个问题时，它能够迅速地理解我们的意图，并给出准确而详细的回答。它就像是一个知识渊博的智者，随时为我们提供帮助。而且，它还能不断地学习和进步，随着数据的增加和算法的优化，它的能力会越来越强。AI 大模型的应用场景也非常广泛。在医疗领域，它可以帮助医生诊断疾病、制定治疗方案；在交通领域，它可以优化交通流量、提高交通安全。

研究背景在现代医疗体系中，门诊接待是患者就医体验的第一道关口，其质量直接影响患者的就医体验和后续治疗效果。然而，目前的医院接待系统主要依赖人力，这不仅耗费大量人力资源，还需要接待人员具备丰富的专业知识。研究显示，门诊患者的抑郁症状发生率高达27%，远高于健康人群，这凸显了在门诊就医过程中提供共情支持的重要性。与此同时，接待护士也面临巨大压力。数据表明，护士的倦怠和抑郁发生率高达34.2%-57.2%。在有限的时间内需要应对大量患者咨询，护士们往往难以保持回应质量和同理心，特别是在医疗资源紧缺的地区。

研究背景在现代医疗体系中，门诊接待是患者就医体验的第一道关口，其质量直接影响患者的就医体验和后续治疗效果。然而，目前的医院接待系统主要依赖人力，这不仅耗费大量人力资源，还需要接待人员具备丰富的专业知识。研究显示，门诊患者的抑郁症状发生率高达27%，远高于健康人群，这凸显了在门诊就医过程中提供共情支持的重要性。与此同时，接待护士也面临巨大压力。数据表明，护士的倦怠和抑郁发生率高达34.2%-57.2%。在有限的时间内需要应对大量患者咨询，护士们往往难以保持回应质量和同理心，特别是在医疗资源紧缺的地区。

技术并不是一个一蹴而就的过程，而是一个逐渐发展的过程”大模型火了也有两年时间了，然后很多人也在不断的学习大模型技术，但很多人一直没学明白什么是大模型技术；他们所理解的大模型技术就是官方给出的大模型定义，但根本不知道为什么需要大模型技术，以及大模型为什么会是这个样子。今天，我们就抛开技术来思考一下，什么是大模型？‍‍‍什么是大模型？‍‍如果你问一个人什么是大模型，如果是一个技术人员他肯定会告诉你，大模型是一个拥有巨大参数量，并且需要经过大量数据训练的神经网络模型。‍‍‍‍‍。

（一）研究背景国家发展改革委发布的《关于推进 “上云用数赋智” 行动 培育新经济发展实施方案》中，“数字孪生” 技术与云计算、人工智能等前沿技术一样，受关注程度上升到国家高度。近年来，在数实融合的大背景下，数字孪生以其全息映射、仿真推演、分析预测、实时交互等能力，正成为企业全面深化数字化转型的核心支撑技术之一。生成式人工智能（AIGC）则为人类社会打开了创造世界的大门，有望在各个领域带来生产力的革命性飞跃。

虽然八字刚有一撇，但智谱AI概念股的光环，已经让豆神教育连续两日涨停。10月25日，豆神教育发布公告称，公司将与北京智谱华章科技有限公司和海南何尊网络科技有限公司签署《战略合作框架协议》，成立合资公司专注于AI教育产品的技术研发及销售。合资公司认缴注册资本5亿元，其中豆神教育出资比例70%，智谱华章出资比例25%，何尊网络科技出资比例5%，三方都以现金方式出资。在公告中，豆神教育也简要概述了交易目的，以及对公司的影响。

从训练一个小模型开始，大模型太复杂小模型刚刚好 ”有句老话叫眼高手低，最近发现有些人就是眼高手低的现实案例，在什么都不懂的情况下就想搞大模型，小模型还看不上。但其实最好的方式是从一个小模型开始，至于原因就是因为小模型相对比较简单一点，其次就是硬件要求较低，普通人能够玩的转。从小模型开始为什么建议大家从小模型开始，特别是一些开源小模型？之所以建议大家刚开始以小模型为主，原因就是因为从技术原理来说，大模型和小模型没有本质上的区别；

AI智能体在大模型的作用和价值主要体现在以下几个方面：增强智能体的决策分析能力： 大模型作为智能体的核心组件，提供智能推理和决策能力，提升智能体的整体水平和服务质量。大模型的推理分析能力使得智能体在信息处理方面更加强大，能够更好地理解和生成内容，从而在执行任务时更加精准和高效。扩展智能体的应用场景： 基于大模型的智能体可以自然语言交互能力增强，使其应用场景更多，提高了体验感。在教育领域，AI智能体能够提供个性化学习、智能辅导、智能评估等功能，有效提升教学效果和科研效率。