AI人工智能业界动态资讯
文章平均质量分 72
AI人工智能业界动态资讯
段智华
智华从事人工智能和大数据研发工作十余年,码龄8年,参与2023年最新Transformer及Rasa对话机器人经典系列电子书、Rasa 3.X智能对话机器人项目实战电子书编写,深入研究Spark源码,参与王家林大咖主编出版Spark系列图书5本,清华大学出版社最新出版2本新书《Spark大数据商业实战三部曲:内核解密|商业案例|性能调优》第二版、《企业级AI技术内幕:深度学习框架开发+机器学习案例实战+Alluxio解密》,从2015年开始撰写博文,累计原创1658篇,涵盖人工智能、智能对话、Rasa等内容,博客阅读量达248万次。
展开
-
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(十)
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(十)原创 2024-04-26 20:00:00 · 663 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(九)Transformer架构
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(九)Transformer架构。原创 2024-04-26 20:15:00 · 220 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(八)Transformer块
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(八)编码器块。原创 2024-04-26 19:45:00 · 102 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(七)前馈神经网络
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(七)前馈神经网络在Transformer架构中,前馈层扮演着至关重要的角色,通常位于注意力层和标准化处理之后。前馈层由三个线性变换组成。在前向传递过程中,输入张量x经历多层线性变换。第一次转换后应用的SwiGLU激活函数增强了模型的表达能力。最终的变换将张量映射回其原始维度。SwiGLU 激活和多个前馈层的这种独特组合增强了模型的性能。原创 2024-04-26 20:15:00 · 252 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(六)SwiGLU 激活函数
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(六)SwiGLU 激活函数。原创 2024-04-26 19:45:00 · 321 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(五)RMS 均方根归一化
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(五)RMS 均方根归一化。原创 2024-04-26 20:15:00 · 312 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(四)分组多查询注意力
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(四)分组多查询注意力。原创 2024-04-26 20:45:00 · 278 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(三)KV缓存
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(三)原创 2024-04-26 20:30:00 · 300 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(二)
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(二)原创 2024-04-26 20:30:00 · 339 阅读 · 0 评论 -
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(一)
探索和构建 LLaMA 3 架构:深入探讨组件、编码和推理技术(一)Meta 通过推出新的开源 AI 模型 Llama 3 以及新版本的 Meta AI,正在加强其在人工智能 (AI) 竞赛中的竞争力。该虚拟助手由 Llama 3 提供支持,现已可在所有 Meta 平台上使用。原创 2024-04-26 19:45:00 · 132 阅读 · 0 评论 -
大模型微调之 使用 LLaMA-Factory 微调 Llama3
大模型微调之 使用 LLaMA-Factory 微调 Llama3使用 LLaMA Factory 微调 Llama-3 中文对话模型请申请一个免费 T4 GPU 来运行该脚本运行结果为:检查 GPU 环境更新自我认知数据集可以自由修改 NAME 和 AUTHOR 变量的内容。identity.json的文件内容为:同时,加载alpaca_gpt4_en,alpaca_gpt4_zh数据集,对应alpaca_gpt4_data_en.json、alpaca_gpt4_data_zh.jso原创 2024-04-25 19:45:00 · 863 阅读 · 0 评论 -
书生·浦语大模型实战营之Llama 3 高效部署实践(LMDeploy 版)
书生·浦语大模型实战营之Llama 3 高效部署实践(LMDeploy 版)InternStudio 可以直接使用软链接 InternStudio 中的模型LMDeploy chatHuggingface与TurboMindHuggingFaceHuggingFace是一个高速发展的社区,包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区,如果你有原创 2024-04-24 20:30:00 · 1063 阅读 · 0 评论 -
解码Sora关键技术及多模态大模型发展应用及AI法律风险解析
解码Sora关键技术及多模态大模型发展应用及AI法律风险解析。原创 2024-04-23 19:51:23 · 174 阅读 · 0 评论 -
关于举办《企业级生成式人工智能LLM大模型技术、算法及案例实战》线上高级研修讲座的通知
关于举办《企业级生成式人工智能LLM大模型技术、算法及案例实战》线上高级研修讲座的通知原创 2024-04-23 14:19:57 · 853 阅读 · 0 评论 -
书生·浦语大模型实战营之Lagent & AgentLego 智能体应用搭建
Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器AgentLego 是一个提供了多种开源工具 API 的多模态工具包,旨在像是乐高积木一样,让用户可以快速简便地拓展自定义工具,从而组装出自己的智能体。原创 2024-04-17 21:30:00 · 1006 阅读 · 0 评论 -
书生·浦语大模型实战营之OpenXLab 部署 InternLM2 实践指南
InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练,InternLM 基座模型具有较高的知识水平,在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀,在多种面向人类设计的综合性考试中表现突出。OpenXLab 浦源平台以开源为核心,旨在构建开源开放的人工智能生态,促进学术成果的开放共享。原创 2024-04-16 20:54:19 · 506 阅读 · 0 评论 -
书生·浦语大模型实战营之XTuner 微调个人小助手认知
书生·浦语大模型实战营之XTuner 微调个人小助手认知在本节课中讲一步步带领大家体验如何利用 XTuner 完成个人小助手的微调!为了能够让大家更加快速的上手并看到微调前后对比的效果, 用 QLoRA 的方式来微调一个自己的小助手!可以通过下面两张图片来清楚的看到两者的对比。原创 2024-04-12 19:44:47 · 1074 阅读 · 0 评论 -
书生·浦语大模型实战营之LMDeploy 量化部署 LLM-VLM 实践
书生·浦语大模型实战营之LMDeploy 量化部署 LLM-VLM 实践创建开发机打开InternStudio平台,创建开发机。填写开发机名称;选择镜像Cuda12.2-conda;选择10% A100*1GPU;点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像,新版本的lmdeploy会出现兼容性问题。安装LMDeploy接下来,激活刚刚创建的虚拟环境。安装0.3.0版本的lmdeploy。原创 2024-04-11 18:50:31 · 814 阅读 · 0 评论 -
书生·浦语大模型实战营之茴香豆:搭建你的 RAG 智能助理
书生·浦语大模型实战营之茴香豆:搭建你的 RAG 智能助理RAG(Retrieval Augmented Generation)技术,通过检索与用户输入相关的信息,并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG 能够让基础模型实现非参数知识更新,无需训练就可以掌握新领域的知识。原创 2024-04-07 22:09:56 · 723 阅读 · 0 评论 -
书生·浦语大模型实战营之轻松玩转书生·浦语大模型趣味案例
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。整个框架图如下:流式输出:提供 stream_chat 接口作流式输出,本地就能演示酷炫的流式 Demo。接口统一,设计全面升级,提升拓展性,包括:Model : 不论是 OpenAI API, Transformers 还是推理加速框架 LMDeploy 一网打尽,模型切换可以游刃有余;原创 2024-03-31 11:17:16 · 452 阅读 · 0 评论 -
书生·浦语大模型实战营之全链路开源体系
书生·浦语大模型实战营之全链路开源体系为了推动大模型在更多行业落地开花,让开发者们更高效的学习大模型的开发与应用,上海人工智能实验室重磅推出书生·浦语大模型实战营,为广大开发者搭建大模型学习和实践开发的平台,两周时间带你玩转大模型微调、部署与评测全链路。书生·浦语大模型全链路开源体系。原创 2024-03-28 12:48:41 · 427 阅读 · 0 评论 -
可能是全网最详细的ChatGPT Prompting项目实战V3
来自硅谷 第五期企业级ChatGPT 开发入门实战 直播21课,37个ChatGPT/LLMs案例,3万行代码解密硅谷核心LLMs技术,21小时直播,只需要Python基础即可学习 Gavin大咖微信:NLP_Matrix_Space。可能是全网最详细的ChatGPT Prompting项目实战V3。可能是全网最详细的ChatGPT Prompting项目实战V3。原创 2023-07-04 12:20:13 · 145 阅读 · 0 评论 -
大模型网红项目AutoGPT案例、原理、源码解密
来自硅谷 第五期企业级ChatGPT 开发入门实战 直播21课,37个ChatGPT/LLMs案例,3万行代码解密硅谷核心LLMs技术,21小时直播,只需要Python基础即可学习 Gavin大咖微信:NLP_Matrix_Space原创 2023-07-04 12:16:18 · 136 阅读 · 0 评论