- 博客(18)
- 收藏
- 关注
RSS订阅原创 PyTorch 中广播机制（Broadcasting）笔记
在 PyTorch 中存在广播（Broadcasting），广播是一种机制，用于自动扩展较小的张量以匹配较大张量的形状，从而使得它们能够进行元素级操作（如加法、减法、乘法等）。广播并不改变张量的实际数据，而是通过虚拟扩展来简化操作。
2024-06-17 17:38:48
473
翻译 我们在使用大语言模型 (LLMs) 构建产品一年中的经验总结 (第一部分)
原文链接：https://www.oreilly.com/radar/what-we-learned-from-a-year-of-building-with-llms-part-i/在构建大型语言模型（LLMs）的过程中，有一些重要但常被忽视的教训和方法论对于开发基于LLMs的产品至关重要。尽管LLMs在现实应用中变得“足够好”并广泛可用，但要创建真正有效的AI产品仍然具有挑战性。文章的作者们来自不同的背景，包括独立顾问、研究人员、应用AI团队的领导者，以及教育者，他们总结了在使用LLMs构建实际应用中的
2024-06-02 10:08:15
54
原创 大模型里prefix-decoder、casual-decoder、encoder-decoder区别
Prefix Decoder在训练时可能更关注于从输入到输出的映射，因此损失函数。
2024-04-28 17:58:36
979
1
原创 OpenAI API 中的 system、user 和 assistant 参数解释
有两个功能，要么存储先前的回复以继续对话，要么设置为指令，以提供所需的行为示例。By the way，由于模型没有任何关于历史请求的"记忆"，因此存储先前的消息对于给出对话上下文和提供所有相关信息是必要的。帮助设置助手的行为，比如说指定模型的行为、角色和背景。常常用于开始对话，给出一个对话的大致方向，或者设置对话的语气和风格。即可由应用程序的用户生成，也可以作为指令设置----（就是给模型举例子，Prompt工程里面的一个技巧，增强模型是思维链）。这三个术语通常用于描述对话系统中的不同角色和组件。
2024-04-05 20:55:23
972
1
原创 从0到1手撕Transformer代码-抽丝剥茧Encoder(Pytorch)
先来抽丝剥茧，这个结构图中最重要的是Multi-head Attention，但Multi-head Attention是由Scaled Dot-product Attention改进过来的，想要了解Scaled Dot-product Attention那就要知道Attention的原理。每个头都会初始化三个独立的线性层，负责将 Q,K,V序列映射到尺寸为 [batch_size, seq_len, head_dim] 的张量，其中 head_dim 是映射到的向量维度。
2024-03-20 09:33:08
1360
1
原创 OpenAI王炸Sora模型技术报告详解
2024年2月16日凌晨,OpenAI发布了首个视频生成模型Sora,效果炸裂,虽然不是大家期待已久的GPT-5,但意义我觉得不亚于一年前发布的GPT-4。对比 AI 视频里 Runway、Pika、Google 和 Meta 这些主流玩家， Sora 的特别之处在于：能够生成具有多个角色、特定类型动作和主题背景的复杂视频，时长为一分钟的高保真视频。可以在单个生成的视频中创建多个镜头，模拟复杂的摄像机运镜，同时准确地保持角色和视觉风格。
2024-02-16 21:12:24
2812
4
原创 AIGC从入门到入坑01（初学者适用版）
Today，人工智能技术快速发展和广泛应用已经引起大众的兴趣和关注了。特别是作为人工智能重要分支的深度学习，展现出独有的统治力，引领了一场科技革命。作为一名刚毕业的本科生，本身对人工智能感兴趣的我也选择加入这场浪潮中，开坑系列博客，同时作为自己的学习笔记，希望自己能吃透AIGC和AI大模型，探寻一条到AGI的朝圣之路。首先说明一下AIGC、AI大模型和AGI三个名词的解释，正所谓知其然，才知其所以然。AIGC：全名“AI Generated Content”，称为“生成式AI”。
2024-01-28 00:04:53
2184
原创 21道常见Transformer面试题（GPT4帮你搞定）
面试中常见的Transfomer问题。涉及了 Transformer 模型的各个方面，包括多头自注意力机制、权重矩阵、点乘注意力、缩放、掩码操作、编码器和解码器模块、词嵌入、位置编码、残差连接、归一化层、学习率调整策略、Dropout 策略等。此外，还讨论了 WordPiece Model、Byte Pair Encoding 分词方法、BatchNorm 技术以及 Transformer 在训练和推理阶段的并行性。
2023-05-03 09:52:12
2380
原创 万字综述梳理ChatGPT----一文搞懂弄潮儿ChatGPT技术原理、行业现状、投资前景
万字综述梳理ChatGPT----一文搞懂弄潮儿ChatGPT技术原理、行业现状、投资前景随着计算机技术的飞速发展，人工智能已经成为当前最热门的研究领域之一。在人工智能领域中，自然语言处理是一个重要的分支。本文是笔者自学ChatGPT的自我总结与思考，类型为综述文章，适合想全面了解ChatGPT或对人工智能感兴趣的小伙伴。
2023-02-19 18:08:19
22614
2
原创 NER标注----使用BILSTM模型训练招投标实体标注模型
NER标注----BILSTM模型训练招投标实体标注模型@[TOC](NER标注----BILSTM模型训练招投标实体标注模型)前言一、NER标注简介二、从头开始训练一个NER标注器二、使用步骤1.引入库2.数据处理3.模型训练)前言上文中讲到如何使用spaCy来做词性标注,这个功能非常强大。现在来介绍另一个有 趣的组件：NER标注。并使用BILSTM模型来训练一个招投标实体标注模型。提示：以下是本篇文章正文内容，下面案例可供参考一、NER标注简介.
2022-04-29 11:27:31
2182
1
原创 spaCy的方法进行训练一个新的招投标实体标注模型
spaCy的方法进行训练一个新的招投标实体标注模型@[TOC](spaCy的方法进行训练一个新的招投标实体标注模型)前言项目要求:i. 模拟实际项目的数据处理和训练整个过程；ii. 文本数据的标注工作；iii. 标注数据作为输入的保存形式；iv.spaCy训练新的实体抽取模型。导入模块一、数据预处理1.引入库2.读入数据总结)前言NER标注的中文名为命名实体识别，与词性标注一样是自然语言处理的技术基
2022-04-20 16:20:13
2962
2
原创 OpenCV+python实现摄像头简单手势识别--进度条控制亮度
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代.
2022-04-20 16:17:31
9163
2
原创 自然语言处理spaCy--训练一个词性标注模型
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档自然语言处理spaCy--训练一个词性标注模型一、什么是词性标注？二、从头开始训练一个词性标注模型.1.引入库2.读入数据总结提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、什么是词性标注？词性标注的全称为Part-Of-Speech tagging。顾名思义，.
2022-04-11 09:51:17
2151
1
原创 python和jieba库进行简单文本处理之天龙八部小说
python和jieba库进行简单文本处理之天龙八部小说导入jieba库新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入...
2020-05-09 07:59:05
2321
1
原创 PYTHON入门期末复习汇总
19PYTHON期末复习本学期共学习了python的语法,程序控制结构,列表,元组,字典,集合,字符串,函数,模块,文件及目录操作,异常处理,可视化基础.下面就将展示我期末总结.python期末复习之循环Python 提供了for循环和while循环.for循环可以遍历任何序列的项目，如一个列表或者一个字符串循环可以遍历任何序列的项目，如一个列表或者一个字符串if子句看起来十分熟悉。它由...
2019-12-25 00:37:58
1807
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人