深度学习
深度学习
西笑生
西笑生
展开
-
Transformer - TokenEmbedding、 PositionalEmbedding、 TemporalEmbedding
flyfish原创 2024-04-23 19:28:57 · 217 阅读 · 0 评论 -
Transformer - 特征预处理
flyfish原创 2024-04-23 19:28:35 · 162 阅读 · 0 评论 -
Transformer - 时间特征的处理
flyfish原创 2024-04-22 20:21:29 · 207 阅读 · 0 评论 -
Transformer - Teacher Forcing
flyfish原创 2024-04-18 19:30:00 · 204 阅读 · 0 评论 -
transformer代码分析的准备工作
flyfish原创 2024-04-18 19:29:26 · 146 阅读 · 0 评论 -
Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释(2)
Transformer原创 2024-04-10 10:58:10 · 699 阅读 · 0 评论 -
Multi-Head Attention 代码实现
Transformer原创 2024-04-03 19:48:13 · 682 阅读 · 0 评论 -
Transformer - 注意⼒机制 代码解释
Transformer原创 2024-04-03 19:46:46 · 672 阅读 · 0 评论 -
Transformer - Outputs(Shifted Right)
Transformer原创 2024-04-03 19:46:17 · 273 阅读 · 0 评论 -
Transformer - model architecture
Transformer原创 2024-04-02 17:51:19 · 675 阅读 · 0 评论 -
Transformer - Positional Encoding 位置编码 代码实现
Transformer原创 2024-04-02 17:50:41 · 429 阅读 · 0 评论 -
Transformer - 注意⼒机制 代码实现
Transformer原创 2024-04-02 17:50:10 · 449 阅读 · 2 评论 -
Transformer - 掩码张量
Transformer原创 2024-04-02 17:49:38 · 179 阅读 · 0 评论 -
NeuralForecast 超参数优化
flyfish原创 2024-03-22 19:37:48 · 180 阅读 · 0 评论 -
Vanilla Transformer
不,我们没有原味的的,我们的香草味就是原味的。Vanilla就是 having no special or extra features。就是ordinary。Vanilla 香草味就是老美的原味,所以vanilla这个单词就是“普通的、原始的、最基础版本”的意思。冰淇淋有原味的,香草味,的巧克力味的。原创 2024-03-22 19:36:19 · 194 阅读 · 0 评论 -
torch.nn.Embedding
此模块通常用于存储单词嵌入并使用索引检索它们。模块的输入是索引列表,输出是对应的单词嵌入。是通过nn.init.normal_来的,使用从正态分布中提取的值填充输入张量。embedding.weight的值是哪来的呢。将种子固定后,会得到相同的数值。原创 2024-03-22 19:35:33 · 234 阅读 · 0 评论 -
GPT中使用的Gaussian Error Linear Unit (GELU)
flyfish原创 2024-03-22 19:34:50 · 966 阅读 · 0 评论 -
使用GPT2预训练模型的方法
flyfish原创 2024-03-22 19:34:12 · 416 阅读 · 0 评论 -
Grok-1 源码中语法 @dataclass 变量名称:变量类型
flyfish原创 2024-03-20 18:40:59 · 235 阅读 · 0 评论 -
Grok-1 源码中语法 Type Hints 箭头 ->
flyfish原创 2024-03-20 18:40:33 · 217 阅读 · 0 评论 -
Transformer中的 Add Norm
flyfish原创 2024-03-08 19:47:02 · 584 阅读 · 0 评论 -
Transformer中的FeedForward
flyfish原创 2024-03-07 19:54:27 · 286 阅读 · 0 评论 -
词嵌入向量和位置编码向量的整合
flyfish原创 2024-03-05 19:36:14 · 201 阅读 · 0 评论 -
Transformer - 注意⼒机制 Scaled Dot-Product Attention 计算过程
flyfish原创 2024-03-05 19:35:26 · 724 阅读 · 0 评论 -
Positional Encoding 位置编码
flyfish原创 2024-03-05 19:34:37 · 613 阅读 · 0 评论 -
把词转换成可以计算的向量
flyfish原创 2024-03-04 19:18:54 · 174 阅读 · 0 评论 -
Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释(1)
flyfish原创 2024-03-01 20:36:10 · 836 阅读 · 0 评论 -
序列模型测试可以使用的指标
flyfish原创 2024-03-01 20:35:37 · 708 阅读 · 0 评论 -
Transformer - 注意⼒机制 Attention Scaled Dot-Product Attention不同的代码比较
flyfish原创 2024-02-28 19:13:10 · 701 阅读 · 0 评论 -
PyTorch模型的多种导出方式提供给其他程序使用
flyfish以下使用模型可视化工具时netron工具下载到本地https://github.com/lutzroeder/netron/releases/或者在使用https://netron.app/当下载一个预训练模型时,只是一个一个的moduleTRAINING导出方式算子没有融合当采用EVAL方式进行模型导出的时候,Conv和BatchNorm层进行了合并JIT(Just-In-Time)在Yolov5中叫torchscript本文使用的PyTorch版本 1.10.1原创 2023-10-10 18:10:58 · 576 阅读 · 0 评论 -
分类 - 鸢尾花 分类模型完整代码及架构说明
config.py 主要是配置 例如配置模型的输入输出,模型的保存路径,数据文件的路径等。dataset.py 主要是操作数据集,例如表格数据的读取,切分训练集,测试集等。evaluator.py 当模型训练完成,加载模型文件进行测试。分类 - 鸢尾花 分类模型完整代码及架构说明。trainner.py 封装模型的训练和验证。checkpoint训练好的模型就存在这里。分类框架 pytorch实现。utils.py 日志操作。main.py 执行命令。可以测试多种神经网络模型。文末有完整的源码地址。原创 2023-03-24 10:51:55 · 575 阅读 · 0 评论 -
分类 - 鸢尾花 分类模型的测试
可以根据预测结果和csv文件中的标签结果进行比对或者绘图等。经过torch.max和torch.cat之后。分类 - 鸢尾花 分类模型的测试。从文件中加载模型文件进行推理。解释torch.max。原创 2023-03-22 16:49:50 · 106 阅读 · 0 评论 -
分类 - 鸢尾花 分类模型的训练
损失函数采用了交叉熵损失CrossEntropyLoss。分类 - 鸢尾花 分类模型的训练。优化器采用了Adam。原创 2023-03-22 16:21:05 · 130 阅读 · 0 评论 -
分类 - 鸢尾花 定义神经网络模型
输入维度:有多少个特征列 本例中表格数据有4列表示特征,最后一列表示类别。此处使用时input_dim=4,output_dim=3。隐藏层也可以增加几层试试 或者更改激活函数试试。如果要使用其他数据集,代码就更改为灵活一点。输出维度:一共分了多少个类别,此处是3。分类 - 鸢尾花 定义神经网络模型。输入维度和输出维度作为参数。原创 2023-03-22 15:26:08 · 82 阅读 · 0 评论 -
分类 - 鸢尾花数据集标签转换为one-hot向量形式
一个one-hot向量是一个整数向量,但只有一个是1,其余的都是零。分类 - 鸢尾花数据集标签转换为one-hot向量形式。在【分类 - 鸢尾花数据集加载】文中标签是。这样y就是one-hot vector。此文是把标签形式变为。原创 2023-03-22 14:43:19 · 354 阅读 · 0 评论 -
分类 - 鸢尾花数据集切分训练集和测试集
当采用【分类 - 鸢尾花数据集加载】加载数据集之后,对数据集进行切分。可以采用sklearn库的train_test_split进行切分。分类 - 鸢尾花数据集切分训练集和测试集。原创 2023-03-21 17:41:04 · 794 阅读 · 0 评论 -
分类 - 鸢尾花数据集加载
分类 - 鸢尾花数据集加载。原创 2023-03-21 16:24:39 · 285 阅读 · 0 评论 -
分类 - 鸢尾花(iris)数据集介绍( 鸢【音:yuān】)
3个品种类别是Setosa、Versicolour、Virginica,样本数量150个,每类50个。这份数据集年代久远,R.A Fisher在1936年发表的文章中被使用。鸢尾花(iris)数据集,它共有4个属性列和一个品种类别列。鸢尾花(iris)数据集介绍( 鸢【音:yuān】)sepal length(萼片长度)、petal length(花瓣长度)、petal width (花瓣宽度),sepal width(萼片宽度)、可视化显示 只绘制点,不绘制线。原创 2023-03-21 16:25:13 · 1766 阅读 · 1 评论 -
Prophet 处理时间序列数据
ds表示时间 可以是YYYY-MM-DD或者YYYY-MM-DD HH:MM:SS。输入数据包含两列ds 和 y,ds表示时间序列的时间戳,y表示时间序列的取值。深蓝色的线表示使用时间序列来拟合所得到的取值。浅蓝色的线表示时间序列合理的上界和下界。yhat_lower:预测值的下界。yhat_upper:预测值的上界。黑色的点表示原始的时间序列离散点。Prophet 处理时间序列数据。图2是根据weekly画图。图3是根据yearly画图。图1是根据trend画图。原创 2023-02-23 15:31:36 · 547 阅读 · 0 评论 -
C++ onnxruntime 推理例子
flyfish原创 2022-09-21 21:12:00 · 2508 阅读 · 0 评论