段智华的博客

热烈祝贺王家林大咖2020年清华大学两本新书《Spark大数据商业实战三部曲》第二版、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行，欢迎关注访问！

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能及大数据领域经典著作《Apache Spark+AI全息代码解密》清华大学出版社发行上市!目录全息代码解密编辑推荐内容简介作者简介本书目录前言新书链接全息代码解密Apache Spark+AI全息代码解密（京东套装共2册）你需要的Apache Spark和AI技能都在这里！全程案例驱动无痛学习，动手创造自己AI框架，解密Alluxio, 抽丝剥茧学习Spark内核所有关键源码及实践优化的一切秘密https://item.jd.com/1302908

2020-12-12 09:52:10 1158 8

原创 2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!

2020年重磅喜讯！热烈祝贺王家林大咖人工智能领域经典著作《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》清华大学出版社发行上市!目录大咖心声新书图片内容简介作者简介目录前言/序言新书案例案例一：自研盘古人工智能框架案例二：基于Pytorch的自然语言处理模型(BERT)的应用案例案例三：人力资源主管正确评估新招聘员工薪水的案例案例四：基于Alluxio+Pytorch的深度学习案例案例五：Spark+AI实战案例新书网购链接新书资讯大咖心声数据象征空间AI代理时间

2020-10-31 08:54:56 2352 1

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市! 前浪致 Spark + AI 后浪

王家林大咖清华大学新书Spark第二版已上市：致 Spark + AI 初学者前言新书介绍编辑推荐内容简介作者简介精彩章节新书目录第二版前言第一版前言Spark+AI学习路径献给Spark+AI的“后浪”新书案例讲解第二版网购链接新书资讯前言欢迎来到清华大学出版社《Spark 大数据商业实战三部曲：内核解密|商业案例|性能调优（第2 版）》新书博客！关注到Spark新书发布的每一位同学，应该是学习了很多大数据的基础知识，学习了很多人工智能的技术资料，正在寻求进一步的自我成长。在学习过程中，一定是遇到了很

2020-05-25 11:08:23 1801

原创 2020年重磅喜讯！热烈祝贺王家林大咖大数据经典传奇著作《Spark大数据商业实战三部曲》畅销书籍第二版清华大学出版社发行上市!

《Spark大数据商业实战三部曲》第二版购书链接：https://item.jd.com/12864870.html

2020-05-22 16:27:07 1228 3

原创 2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!

2018年新春报喜！热烈祝贺王家林大咖大数据经典传奇著作《SPARK大数据商业实战三部曲》畅销书籍清华大学出版社发行上市!本书基于Spark 2.2.0新版本，以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心，以Spark内核解密为基石，分为上篇、中篇、下篇，对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。上篇基于Spark源码，从一个动手...

2018-02-13 19:47:15 7168 9

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（四）分组多查询注意力。

2024-04-26 20:45:00 220

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（二）

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（二）

2024-04-26 20:30:00 299

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（三）KV缓存

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（三）

2024-04-26 20:30:00 271

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（五）RMS 均方根归一化

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（五）RMS 均方根归一化。

2024-04-26 20:15:00 278

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（七）前馈神经网络

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（七）前馈神经网络在Transformer架构中，前馈层扮演着至关重要的角色，通常位于注意力层和标准化处理之后。前馈层由三个线性变换组成。在前向传递过程中，输入张量x经历多层线性变换。第一次转换后应用的SwiGLU激活函数增强了模型的表达能力。最终的变换将张量映射回其原始维度。SwiGLU 激活和多个前馈层的这种独特组合增强了模型的性能。

2024-04-26 20:15:00 242

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（九）Transformer架构

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（九）Transformer架构。

2024-04-26 20:15:00 200

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（十）

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（十）

2024-04-26 20:00:00 641

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（一）

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（一）Meta 通过推出新的开源 AI 模型 Llama 3 以及新版本的 Meta AI，正在加强其在人工智能 (AI) 竞赛中的竞争力。该虚拟助手由 Llama 3 提供支持，现已可在所有 Meta 平台上使用。

2024-04-26 19:45:00 116

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（六）SwiGLU 激活函数

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（六）SwiGLU 激活函数。

2024-04-26 19:45:00 306

原创探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（八）Transformer块

探索和构建 LLaMA 3 架构：深入探讨组件、编码和推理技术（八）编码器块。

2024-04-26 19:45:00 75

原创大模型微调之使用 LLaMA-Factory 微调 Llama3

大模型微调之使用 LLaMA-Factory 微调 Llama3使用 LLaMA Factory 微调 Llama-3 中文对话模型请申请一个免费 T4 GPU 来运行该脚本运行结果为：检查 GPU 环境更新自我认知数据集可以自由修改 NAME 和 AUTHOR 变量的内容。identity.json的文件内容为：同时，加载alpaca_gpt4_en,alpaca_gpt4_zh数据集，对应alpaca_gpt4_data_en.json、alpaca_gpt4_data_zh.jso

2024-04-25 19:45:00 688

原创书生·浦语大模型实战营之Llama 3 高效部署实践（LMDeploy 版）

书生·浦语大模型实战营之Llama 3 高效部署实践（LMDeploy 版）InternStudio 可以直接使用软链接 InternStudio 中的模型LMDeploy chatHuggingface与TurboMindHuggingFaceHuggingFace是一个高速发展的社区，包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有

2024-04-24 20:30:00 1062

原创解码Sora关键技术及多模态大模型发展应用及AI法律风险解析

解码Sora关键技术及多模态大模型发展应用及AI法律风险解析。

2024-04-23 19:51:23 174

原创书生·浦语大模型实战营之火爆 Reddit！多模态 Llama-3 它来了！！ XTuner 微调 Llama3 图片理解多模态

书生·浦语大模型实战营之火爆 Reddit！多模态 Llama-3 它来了！！XTuner 微调 Llama3 图片理解多模态LLaVA-Llama-3-8B 已由 XTuner 团队推出，相比于 LLaVA-1.5，能力全面提升！(欢迎 Star)(欢迎 Star)

2024-04-23 19:30:00 41

原创关于举办《企业级生成式人工智能LLM大模型技术、算法及案例实战》线上高级研修讲座的通知

关于举办《企业级生成式人工智能LLM大模型技术、算法及案例实战》线上高级研修讲座的通知

2024-04-23 14:19:57 852

原创书生·浦语大模型实战营之 OpenCompass ：是骡子是马，拉出来溜溜

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。

2024-04-22 21:15:00 27

原创书生·浦语大模型实战营之 XTuner 微调 Llama 3 个人小助手认知

书生·浦语大模型实战营之 XTuner 微调 Llama 3 个人小助手认知Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！开源同时社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。

2024-04-22 21:00:00 54

原创书生·浦语大模型实战营之微调 Llama 3 实践与教程（XTuner 版）

书生·浦语大模型实战营之微调 Llama 3 实践与教程（XTuner 版）Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！开源同时社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。

2024-04-22 20:15:00 85

原创使用 Meta Llama 3 构建人工智能的未来

使用 Meta Llama 3 构建人工智能的未来现在提供 8B 和 70B 预训练和指令调整版本，以支持广泛的应用。

2024-04-19 18:47:59 318 1

原创 Tricentis测试生成式人工智能系统和红队：入门指南

基于生成式人工智能的测试是指用于评估生成式人工智能系统的功能、可靠性和安全性的方法和实践。这些系统根据收到的输入生成新的内容或数据，需要严格的测试以确保它们按预期运行并且不会产生有害或意外的结果。我们将探讨推动基于人工智能的生成测试的采用的几种市场趋势。为了确保人工智能系统安全、可靠、可靠，采用彻底的测试实践至关重要，尤其是考虑到生成式人工智能的不可预测性。红队：利用红队通过模拟现实世界的攻击和意外场景来严格挑战人工智能。这有助于发现常规测试可能遗漏的漏洞。

2024-04-18 13:01:25 44

原创书生·浦语大模型实战营之Lagent & AgentLego 智能体应用搭建

Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器AgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。

2024-04-17 21:30:00 1006

原创书生·浦语大模型实战营之OpenXLab 部署 InternLM2 实践指南

InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。OpenXLab 浦源平台以开源为核心，旨在构建开源开放的人工智能生态，促进学术成果的开放共享。

2024-04-16 20:54:19 506

原创书生·浦语大模型实战营之XTuner多模态训练与测试

书生·浦语大模型实战营之XTuner多模态训练与测试在本节课中，我们将学习使用XTuner微调多模态LLM的内容，本部分需要的GPU资源为24GB 30% 的 A100。这是学完本节内容后的多模态LLM性能效果展示：Haotian Liu等使用GPT-4V对图像数据生成描述，以此构建出大量 – 的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。所使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型LLaVA: Large Lang

2024-04-16 19:45:00 57

原创书生·浦语大模型实战营之XTuner 微调个人小助手认知

书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调！为了能够让大家更加快速的上手并看到微调前后对比的效果，用 QLoRA 的方式来微调一个自己的小助手！可以通过下面两张图片来清楚的看到两者的对比。

2024-04-12 19:44:47 1073

原创书生·浦语大模型实战营之LMDeploy 量化部署 LLM-VLM 实践

书生·浦语大模型实战营之LMDeploy 量化部署 LLM-VLM 实践创建开发机打开InternStudio平台，创建开发机。填写开发机名称；选择镜像Cuda12.2-conda；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。安装LMDeploy接下来，激活刚刚创建的虚拟环境。安装0.3.0版本的lmdeploy。

2024-04-11 18:50:31 814

原创书生·浦语大模型实战营之茴香豆：搭建你的 RAG 智能助理

书生·浦语大模型实战营之茴香豆：搭建你的 RAG 智能助理RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。

2024-04-07 22:09:56 723

原创大模型量化技术-GPTQ

（灵活可扩展，前提是准备好数据，通过字符串列表来自定义一个数据集，建议样本数不少于128（样本数太少会影响模型性能）bits=4,相比使用默认数据集，未经精心准备的自定义数据集会明显降低模型性能、auto-gptq。

2024-04-02 21:00:00 513

原创大模型量化技术-AWQ

大模型量化技术-AWQ在2023年6月，Ji Lin等人发表了论文。这篇论文详细介绍了一种激活感知权重量化算法，可以用于压缩任何基于 Transformer 的语言模型，同时只有微小的性能下降。关于 AWQ 算法的详细介绍，见。

2024-04-02 20:30:00 697

原创大模型量化技术-BitsAndBytes

是将模型量化为8位和4位的最简单选择。异常值是指大于某个阈值的隐藏状态值，这些值是以fp16进行计算的。虽然这些值通常服从正态分布（[-3.5, 3.5]），但对于大型模型来说，该分布可能会有很大差异（[-60, 6]或[6, 60]）。8位量化适用于约为5左右的数值，但超过此范围后将导致显著性能损失。一个好的默认阈值是6，但对于不稳定的模型（小型模型或微调）可能需要更低的阈值。

2024-04-02 12:42:03 151

原创书生·浦语大模型实战营之轻松玩转书生·浦语大模型趣味案例

Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。整个框架图如下:流式输出：提供 stream_chat 接口作流式输出，本地就能演示酷炫的流式 Demo。接口统一，设计全面升级，提升拓展性，包括：Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽，模型切换可以游刃有余；

2024-03-31 11:17:16 452

原创书生·浦语大模型实战营之全链路开源体系

书生·浦语大模型实战营之全链路开源体系为了推动大模型在更多行业落地开花，让开发者们更高效的学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为广大开发者搭建大模型学习和实践开发的平台，两周时间带你玩转大模型微调、部署与评测全链路。书生·浦语大模型全链路开源体系。

2024-03-28 12:48:41 427

原创大模型论文阅读：ADAPTIVE BUDGET ALLOCATION FOR PARAMETEREFFICIENT FINE-TUNING

为了以参数高效的方式学习预训练权重的增量更新，提出了许多微调方法，例如低秩增量。然而，这些方法经常将增量更新的预算均匀分配给所有预训练权重矩阵，而忽视了不同权重参数的差异性重要性，导致微调性能不足。SVD参数化：首先，AdaLoRA将权重矩阵的增量更新表示为奇异值分解（SVD）的形式，即 ( \Delta = P \Lambda Q )。这种调度器可以提高训练的稳定性并改善模型性能。AdaLoRA通过自适应地根据权重矩阵的重要性分配参数预算，有效地改善了预训练语言模型的微调性能，特别是当预算较低时。

2024-03-27 21:33:22 660