源泉的小广场-CSDN博客

原创【大模型实战篇】大模型显存资源计算以及GPU如何选择

大模型、GPU、大模型显存资源计算、LLM、模型资源估算、计算公式、大模型资源因素、显存计算器、数值精度、GPU选型、大模型部署

2024-09-05 17:46:58 2662 1

原创【大模型实战篇】RoPE旋转位置编码PyTorch代码分析

大模型、llm、pytorch代码实现、旋转位置编码、长序列旋转位置编码、位置编码外推、代码分析、旋转实现、缩放因子、freq频率计算

2024-09-02 16:48:38 1807 2

原创【大模型理论篇】RoPE旋转位置编码底层数学原理分析

大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性

2024-08-30 19:49:24 4622 3

原创【大模型理论篇】自注意力机制计算加速工程优化技巧(Flash Attention/PagedAttention)

flash attention、pagedattention、大模型、大模型性能优化、大模型计算加速、工程优化、分页注意力、快速注意力、vllm、大模型推理、大模型内存高效利用、内存优化

2024-08-28 10:46:15 1068

原创【大模型理论篇】通用大模型架构分类及技术统一化

大模型、llm、大模型架构、llm architecture、架构统一、通义千问、qwen、glm、chatglm、智谱、rms norm、pre norm、self-attention、decoder-only、encoder-decoder、prefix-decoder

2024-08-27 16:55:41 2200

原创【大模型理论篇】大模型微调之指令微调(Instruction Fine-Tuning)

指令微调、大模型、instruction fine-tuning、监督微调、微调技术、大模型微调、llm fine tune、指令数据集、prompt、微调实战、Alpaca、llama2微调

2024-08-27 00:11:40 3721

原创【大模型理论篇】Mixture of Experts(混合专家模型, MOE)

大模型、transformer、混合专家模型、MoE、mixture of experts、稀疏性、模型算力、LLM、SMoE、gemini、mixtral、万亿参数大模型、门控机制、专家混合

2024-08-25 10:45:42 2947 1

原创【大模型理论篇】基于3D可视化视角理解GPT

大模型、3D可视化、transformer、self attention、可视化原理分析、gpt、gpt3、nano gpt

2024-08-23 00:14:43 1357

原创【大模型理论篇】Transformer KV Cache原理深入浅出

大模型、transformer、注意力机制、计算加速、kv cache、kv 缓存、推理加速、llama、内存分析、计算量分析

2024-08-22 15:50:46 2621

原创【大模型理论篇】强化学习RL与大模型智能体

大模型、智能体、LLM、Agent、强化学习、Q-learning、DAN、policy gradient、Reinforcement learning、autogpt、ToolLLM Agent、RL、自动处理

2024-08-21 17:15:03 1476

原创【大模型理论篇】LLaMA3结构关键模块分析

LLaMA、RMS Norm、SwiGLU、RoPE、GQA、分组查询注意力、旋转位置编码、大模型

2024-08-20 16:37:04 1541

原创【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起

LLama3、405B、大模型、预训练、后训练、大模型数据清洗、合成数据、SFT、模型蒸馏、小模型、开源大模型、退火、量化推理、模型架构、transformer

2024-08-20 11:30:30 1697 1

原创【大模型理论篇】大模型时代下Bert去哪啦？

bert、自然语言处理、transformer、encoder、gpt、decoder、nlu、nlg、微调、fine-tuning

2024-08-20 00:18:14 1674

原创【大模型理论篇】生成式模型与判别式模型对比(涉及VAE、CRF的数学原理详述)

变分自编码、vae、variational auto-encoder、生成式模型、判别式模型、crf、条件随机场

2024-08-19 14:39:30 1366

原创【大模型理论篇】生成式模型算法原理深入浅出（涉及Stable Diffusion、生成对抗网络、高斯混合模型、隐马尔可夫模型、朴素贝叶斯等算法原理分析及生成式模型解释）

生成式ai、生成式模型、混合高斯模型、gmm、隐马尔可夫模型、hmm、朴素贝叶斯、naive bayesian、stable diffusion、稳定扩散模型、lda、主题模型、生成对抗模型、gan

2024-08-15 17:01:06 2611

原创【大模型理论篇】GPT系列预训练模型原理讲解

chatgpt、gpt1、gpt2、gpt3、gpt3.5、gpt4、rlhf、rm、transformer、sft、ppo、few-shot learning、zero-shot learning

2024-08-12 09:25:39 2353

原创【隐私计算篇】隐私计算使用不当也会泄露原始数据

隐私计算、可信安全计算、可信计算、数据安全、数据保护、数据泄露、原始数据泄露、匿踪查询、安全求交、使用不当泄露、联邦学习、可信执行环境、安全多方计算

2024-08-09 14:36:18 1253

原创【大模型理论篇】Transformer原理及关键模块深入浅出

大模型、llm、transformer、原理解析、encoder、decoder、自注意力机制、self-attention、多头注意力机制、位置编码、positional encoding、残差连接、residual、layer normalization

2024-08-08 06:32:19 2159

原创【隐私计算篇】混淆电路深入浅出

隐私计算、可信计算、混淆电路、yao gc、gc、姚氏混淆电路、free xor、grr3、grr2、点和置换、half gate、半门

2024-08-06 01:15:35 1225

原创【大模型实战篇】从零构建基座大模型项目推介

大模型、大语言模型、LLM、端到端训练、教程、llama3、gpt系列、分词器、transformer、swiglu、注意力机制、rms normalization

2024-08-04 10:58:20 1020

原创【大模型实战篇】搭建本地的隐私计算知识问答系统“密答”

垂直领域问答系统、问答机器人、文档问答机器人、隐私计算问答、隐私计算、大模型、知识库、向量化、向量数据库、ollama、密答

2024-08-02 17:08:26 1055

原创【文生视频系列】MoneyPrinterTurbo项目初探

文生视频、大模型、llm、aigc、人工智能、MoneyPrinterTurbo、MoneyPrinter

2024-07-28 23:57:46 1346

原创【大模型实战篇】基于开源大模型的问答系统本地部署实战教程

大模型问答系统、问答、对话、本地部署、ollama、llama、qwen、docker、webui、open webui、大语言模型、llm、large language model、对话机器人

2024-07-26 14:30:18 1549

原创【大模型实战篇】基于大模型零代码1小时完成国标数据分级分类近义词库构建及思考

大模型、文本处理、数据要素流通、行业分类、分级分类、数据要素、软件2.0、software2.0、ai app、AI app、genweb

2024-07-25 18:41:45 1330

原创【隐私计算篇】Simple PIR-单服务器开源最快匿踪查询算法解析

隐私计算、可信计算、匿踪查询、隐匿查询、隐私信息查询、隐私信息检索、PIR、simple PIR、double PIR、多方安全计算、安全多方计算、秘密查询、seal pir

2024-07-22 19:58:16 1655

原创【大模型理论篇】压缩泛化-对大语言模型智能涌现的理解

大模型、LLM、AGI、通用人工智能、压缩泛化、压缩智能、高质量数据、无损压缩、压缩器、最小描述长度、

2024-07-21 15:25:58 1568

原创【隐私计算篇】隐私计算匿踪查询技术深入浅出

匿踪查询、同态PIR、隐私信息检索、隐私信息查询、隐私查询、OT PIR、Index PIR、Keyword PIR、批量隐私查询、单条隐私查询、不可区分度、百亿匿踪查询、LWE、、labeled psi

2024-07-17 13:47:07 2384

原创【隐私计算篇】OT&OT扩展(不经意传输扩展)深入浅出

不经意传输、不经意传输扩展、OT、ot、OT extension、OT Extension、OT扩展、MPC、安全多方计算、Yao GC、KKRT、IKNP、匿踪查询、隐私计算、密码学

2024-07-15 00:28:20 2159 2

原创【大模型理论篇】大模型LLM在垂直领域的应用(RAG、微调等)分析

大模型、RAG、检索增强生成、llm、自然语言处理、垂直领域、商业化、推荐、检索、匹配

2024-07-12 17:56:09 3255

原创【隐私计算篇】隐私集合求交（PSI）原理深入浅出

隐私集合求交，安全求交，多方安全计算，黑名单共享，广告投放，联邦学习，OPRF协议，OPPRF，OKVS，VOLE，Cuckoo Hashing，Diffie-Hellman密钥交换，全匿踪，全匿踪安全求交、

2024-07-04 19:28:55 2378 1

原创【大模型理论篇】高效的向量搜索算法——分层可导航小世界图（HNSW）

高效向量搜索，HNSW，复杂网络，网络科学，小世界现象，小世界网络，六度分隔，相似性搜索，向量搜索，自然语言处理，生成式人工智能，近似最近邻（ANN），树结构，图结构，分层可导航小世界图（HNSW），数字地图

2024-07-01 16:05:04 2213

原创【隐私计算篇】基于横纵向的混合联邦学习原理分析

混合联邦、横纵向、隐私计算、联邦学习、混合联邦学习、横向联邦、纵向联邦、扩展样本、扩展特征、联合建模

2024-06-28 16:02:25 1527

原创【大模型理论篇】构建成功LLM应用的运营方面实践分享

大模型、生产实践、运营分享、大模型经验

2024-06-25 16:30:13 1323

原创【隐私计算篇】基于隐语的VisionTransformer框架

主讲老师：曾文轩论文：【ICCV2023】隐语课程第12课，是一次论文及使用案例分享课，基于隐语实现Vision Transformer框架MPCViT。首先介绍了ViT在MPC环境下进行隐私推理的总体框架、研究动机以及算法流程。MPCViT借助SecretFlow-SPU搭建ViT框架,并测试不同模型架构的推理效率。介绍了SecretFlow-SPU的特点和功能,并展开讲解了基于SecretFlow和Jax的ViT框架搭建流程。最后,呈现了该工作的主要实验结果,效果均优于基线模型。

2024-06-25 13:15:30 768

原创【隐私计算篇】隐私计算算法组件介绍与自定义开发

隐语第二期第11课《组件介绍与自定义开发》由蚂蚁隐私计算团队的冯骏老师主讲，主要介绍了隐语的组件标准、已有的组件能力以及进一步的自定义开发流程。本次笔记主要还是以分析记录为主。隐语提出适用于隐私计算应用的一系列协议的集合，包括数据，组件，节点执行，运行报告等协议。

2024-06-24 14:13:15 1100

原创【隐私计算篇】基于SPU的机器学习建模实操

本周继续隐语第10课《PPML入门/基于SPU的机器学习建模实践》的学习，本次课程是一次实践课，由蚂蚁集团隐私计算部的吴豪奇老师做的分享。第10课依然是属于SPU系列的进阶课程，因此课程中关于SPU的介绍，可以参考之前我的课程笔记以及。目录。

2024-06-24 00:40:10 1460

原创【隐私计算篇】SML入门/基于SPU实现明文算法迁移密文模型的实践

SPU、明文模型改造成密文模型、aby3、cheetah、semi2k、定点数

2024-06-20 14:28:45 1545

原创【隐私计算篇】理解密态引擎SPU框架

spu、密态计算单元、多方安全计算、隐私计算、隐语、编译器、运行时、大模型

2024-06-18 15:37:58 1404

原创【隐私计算篇】SGB、SS-XGB算法原理及编程实战

本周开启隐语课程的第七节，关于纵向多方协同的集成树模型XGB算法的学习，隐语提供了基于两种不同加密协议实现的算法，一种是基于MPC协议实现SS-XGB，一种是基于半同态加密算法实现的SecureBoost。对于SS-XGB和SGB等多方协同树模型的使用，与明文模型的使用，基本是一致的，包括数据的准备、训练参数设置及执行，以及对训练完成的模型进行指标评估和预测使用。针对SS-XGB和SGB组件的封装和调用，也给出了一些示例，整理复杂度还好，找到对应模块，修改对应模块的代码功能，再进行单元测试覆盖。

2024-06-17 22:37:25 1640

原创【隐私计算篇】逻辑回归LR与广义线性模型GLM开发实践

广义线性模型、回归模型、隐语、秘密共享、sslr、ssglm、洛伦兹曲线、tweedie分布、保险建模

2024-06-13 16:49:38 1411

大模型预训练相关知识分享

在大模型的预训练中，数据准备与清洗是首要步骤，直接影响模型的性能和泛化能力。数据的收集应覆盖尽可能广泛的领域，确保多样性和代表性。清洗过程包括去重、去噪声、格式规范化和敏感信息过滤等，以保证数据质量。此外，还要进行数据标注，特别是当指令微调涉及到特定任务时，数据标签的准确性至关重要。模型选择方面，不同的任务需要不同的模型架构。主流大模型架构有Encoder-Decoder、Causal Decoder和Prefix Decoder等。Encoder-Decoder适用于输入输出都需要理解的任务，如翻译；Causal Decoder主要用于文本生成；Prefix Decoder则在要求高效推理的场景中更具优势。每种架构的选择需要结合任务需求、资源情况及模型性能表现来综合考量。在模型结构上，层数、隐藏单元、注意力头数等配置需谨慎调节。更深的层数和更多的隐藏单元可以提升模型能力，但也会增加训练时间和计算资源需求。针对大模型，诸如Flash Attention和Paged Attention等优化技术可以显著提升训练效率。参数配置方面，包括学习率、批次大小、权重衰减等的设定，对训练

2024-08-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人