![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 88
来自新世界、
这个作者很懒,什么都没留下…
展开
-
U-net(2)
Unet网络:利用DoubleConv, Down, Up, OutConv四个模块组装U-net模型,其中Up即右侧模型块之间的上采样连接(Up sampling)部分,注意U-net的跳跃连接(Skip-connection)也在这部分(torch.cat([x2, x1], dim=1))。因为每个子块内部的两次卷积(Double Convolution),所以上采样后也有DoubleConv层。PyTorch模型定义的方式1.Module 类是 torch.nn 模块里提供的一个模型构造类 (n原创 2022-03-30 19:51:40 · 2995 阅读 · 2 评论 -
pytorch基础(3)【sigmoid,激活函数,优化器】
sigmoid函数logistic function是一种sigmoid函数和Linear的区别sigmoid函数是不需要参数的,所以不用对其初始化(直接调用nn.functional.sigmoid即可)。另外loss函数从MSE改用交叉熵BCE:尽可能和真实分类贴近。# -*- coding: utf-8 -*-"""Created on Mon Oct 18 08:35:00 2021@author: 86493"""import torchimport torch.nn原创 2022-03-27 22:20:14 · 3631 阅读 · 0 评论 -
pytorch基础(2)【代码例子】
线性模型# -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as pltx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]def forward(x): return x * wdef loss(x, y): y_pred = forward(x) return (y_pred - y) * (y_pred - y)# 保存权重w_l原创 2022-03-27 20:43:53 · 1330 阅读 · 0 评论 -
Transformer(认真)
看不懂,好难啊!!!详情请参考https://andyguo.blog.csdn.net/article/details/119753719一、RNN和Transformer的不同二、从整体宏观来理解 Transformer三、从细节来理解 Transformer3.1 Transformer 的输入3.2Encoder(编码器)3.3 Self-Attention 整体理解四、Self-Attention 的细节4.1 计算Query 向量,Key 向.原创 2021-11-22 22:16:41 · 2479 阅读 · 1 评论 -
Transformer
胡乱写的!!!!!!目录一、初探Encoder-Decoder1.Encoder2.回到transformer的图二、Decoder – Autoregressive (AT)1、Decoder内部结构1)带Masked的MHA三、Decoder – Non-autoregressive (NAT)四、Encoder-Decoder五、Training六、训练的Tips一、初探Encoder-Decoder一般的seq2seq’s model分成2原创 2021-11-21 22:56:59 · 500 阅读 · 0 评论 -
卷积神经网络学习
一、CNN架构一、复杂的Input时二、What is the output?这种情况是说输入和输出一样数量。当你的模型,看到输入是四个向量的时候,它就要输出四个Label,而每一个Label,它可能是一个数值,那就是Regression的问题,如果每个Label是一个Class,那就是一个Classification的问题三、Sequence Labeling四 Self-Attention1.怎么产生b^1这个...原创 2021-11-21 17:08:22 · 935 阅读 · 1 评论 -
类神经网络
目录一、鞍点为何要知道到底是卡在local minima,还是卡在saddle point呢如何判断local minima与saddle point呢?1.泰勒展开2.Hession矩阵3.史上最废的network 二、saddle point(鞍点)三、Optimization with Batch 1.Small Batch v.s. Large Batch“Noisy” update is better for tra...原创 2021-11-20 22:25:09 · 621 阅读 · 0 评论 -
机器学习笔记(1)
第一项是L ( θ ′ ) L(θ')L(θ ′ ),就告诉我们说,当θ θθ跟θ ′ θ'θ ′ 很近的时候,L ( θ ) L(θ)L(θ)应该跟L ( θ ′ ) L(θ')L(θ ′ )还蛮靠近的第二项是( θ − θ ′ ) T g (θ-θ')^Tg(θ−θ ′ ) T g————————————————版权声明:本文为CSDN博主「山顶夕景」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csd原创 2021-11-14 23:29:01 · 1886 阅读 · 0 评论