pytorch笔记
文章平均质量分 68
B站刘二大人pytorch入门配套笔记
追寻远方的人
你的职责是平整土地,而非焦虑时光。
展开
-
Pytorch 深度学习实践 第13讲
第13讲 循环神经网络(高级篇)数据集链接:https://pan.baidu.com/s/1bIKasCIDAaT-_EwB6hcAMQ提取码:4fij任务:使用RNN通过训练name数据集来预测name属于哪个country.RNN,LSTM,GRU都是循环神经网络。网络模型:最后只需要一个Linear Layer来得出整个name序列的预测结果。数据准备Name序列处理步骤:1.Name转成序列List,即Maclean→[‘M’, ‘a’, ‘c’, ‘l’, ‘e’, ‘a原创 2021-10-24 08:40:39 · 261 阅读 · 0 评论 -
Pytorch 深度学习实践 第12讲
第12讲 循环神经网络(基础篇)循环神经网络RNN:用来处理有序列关系的输入,比如预测天气时,今天的天气要依赖于上一天的天气数据,多用于天气、股票、自然语言处理等。RNN Cell结构所有的RNN Cell是同一个Linear模块,只不过是循环使用它对不同的输入序列来进行计算和更新权重,循环次数就是序列长度:初始化H0=0,是个向量for Xi in X:Hi = Linear(Xi, Hi-1)torch.nn.RNNCell()模块seqLen是序列长度,即x1~x3inp原创 2021-10-24 08:40:01 · 448 阅读 · 0 评论 -
PyTorch 深度学习实践 第11讲
第11讲 卷积神经网络(高级篇) 源代码视频中截图:说明:Inception Moudel1、卷积核超参数选择困难,自动找到卷积的最佳组合。2、1x1卷积核,不同通道的信息融合。使用1x1卷积核虽然参数量增加了,但是能够显著的降低计算量(operations)3、Inception Moudel由4个分支组成,要分清哪些是在Init里定义,哪些是在forward里调用。4个分支在dim=1(channels)上进行concatenate。24+16+24+24 = 884、GoogleNet的I原创 2021-10-18 19:24:29 · 121 阅读 · 0 评论 -
PyTorch 深度学习实践 第10讲
第10讲 卷积神经网络(基础篇) 源代码视频中截图:说明 0、前一部分叫做Feature Extraction,后一部分叫做classification 1、每一个卷积核它的通道数量要求和输入通道是一样的。这种卷积核的总数有多少个和你输出通道的数量是一样的。 2、卷积(convolution)后,C(Channels)变,W(width)和H(Height)可变可不变,取决于是否padding。subsampling(或pooling)后,C不变,W和H变。 3、卷积层:保原创 2021-10-18 19:23:43 · 849 阅读 · 0 评论 -
PyTorch 深度学习实践 第9讲
第9讲 多分类问题 源代码视频中截图说明: 1、softmax的输入不需要再做非线性变换,也就是说softmax之前不再需要激活函数(relu)。softmax两个作用,如果在进行softmax前的input有负数,通过指数变换,得到正数。所有类的概率求和为1。 2、y的标签编码方式是one-hot。我对one-hot的理解是只有一位是1,其他位为0。(但是标签的one-hot编码是算法完成的,算法的输入仍为原始标签) 3、多分类问题,标签y的类型是LongTensor。比如原创 2021-10-18 19:23:13 · 95 阅读 · 0 评论 -
PyTorch 深度学习实践 第8讲
第8讲 加载数据集 源代码说明:1、DataSet 是抽象类,不能实例化对象,主要是用于构造我们的数据集 2、DataLoader 需要获取DataSet提供的索引[i]和len;用来帮助我们加载数据,比如说做shuffle(提高数据集的随机性),batch_size,能拿出Mini-Batch进行训练。它帮我们自动完成这些工作。DataLoader可实例化对象。DataLoader is a class to help us loading data in Pytorch. 3、原创 2021-10-18 19:22:40 · 124 阅读 · 0 评论 -
PyTorch 深度学习实践 第7讲
第7讲 处理多维特征的输入 源代码视频中截图说明:1、乘的权重(w)都一样,加的偏置(b)也一样。b变成矩阵时使用广播机制。神经网络的参数w和b是网络需要学习的,其他是已知的。 2、学习能力越强,有可能会把输入样本中噪声的规律也学到。我们要学习数据本身真实数据的规律,学习能力要有泛化能力。 3、该神经网络共3层;第一层是8维到6维的非线性空间变换,第二层是6维到4维的非线性空间变换,第三层是4维到1维的非线性空间变换。 4、本算法中torch.nn.Sigmoid(原创 2021-10-18 19:21:54 · 96 阅读 · 0 评论 -
PyTorch 深度学习实践 第6讲
第6讲 逻辑斯蒂回归 源代码视频中截图说明:1、 逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面,添加了激活函数(非线性变换) 2、分布的差异:KL散度,cross-entropy交叉熵说明:预测与标签越接近,BCE损失越小。代码说明:1、视频中代码F.sigmoid(self.linear(x))会引发warning,此处更改为torch.sigmoid(self.linear(x))torch.sigmoid() 与 torch.nn.Sigmoid() 对比torch原创 2021-10-18 19:21:26 · 94 阅读 · 0 评论 -
PyTorch 深度学习实践 第5讲
第5讲 用PyTorch实现线性回归 源代码PyTorch Fashion(风格)1、prepare dataset2、design model using Class # 目的是为了前向传播forward,即计算y hat(预测值)3、Construct loss and optimizer (using PyTorch API) 其中,计算loss是为了进行反向传播,optimizer是为了更新梯度。4、Training cycle (forward,backward,update)代码说明原创 2021-10-18 19:20:09 · 186 阅读 · 0 评论 -
PyTorch 深度学习实践 第4讲
第4讲 反向传播back propagation如果需安装PyTorch,传送门 PyTorch深度学习快速入门教程传送门 Tensor和tensor的区别 torch.FloatTensor和torch.Tensor、torch.tensor torch.FloatTensor( )代码说明:1、w是Tensor(张量类型),Tensor中包含data和grad,data和grad也是Tensorl。grad初始为None,调用l.backward()方法后w.gr原创 2021-10-18 19:19:35 · 148 阅读 · 0 评论 -
PyTorch 深度学习实践 第3讲
第3讲 梯度下降法 源代码深度学习算法中,并没有过多的局部最优点。import matplotlib.pyplot as plt # prepare the training setx_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0] # initial guess of weight w = 1.0 # define the model linear model y = w*xdef forward(x): return x*w原创 2021-10-18 19:18:46 · 79 阅读 · 0 评论 -
PyTorch 深度学习实践 第2讲
第2讲 linear_model 源代码代码说明:1、函数forward()中,有一个变量w。这个变量最终的值是从for循环中传入的。 2、for循环中,使用了np.arange。若对numpy不太熟悉,传送门Numpy数据计算从入门到实战 3、python中zip()函数的用法import numpy as npimport matplotlib.pyplot as plt x_data = [1.0, 2.0, 3.0]y_data = [2.0, 4原创 2021-10-18 19:18:12 · 79 阅读 · 0 评论