nyist_yangguang的博客

原创 3*3卷积的优点

原创 崔老师 实验三程序框架

思路1： 从上到下分析法，递归下降来检测语法是否正确 + 表达式求值//#include<bits/stdc++.h>#include <fstream>#include <iostream>#include <map>#include <algorithm>#include <string>#include<string.h>#include<stdio.h>#include<...

原创 创建神经网络的程序出现raise NotImplementedError

1. def forward函数缩进的问题，没有对齐 def __init__2. forward 单词拼写错误

原创 神经网络中用到的一些python语法，filter函数、lambda函数、map函数以及什么是可迭代对象

原创 Embedding 对象 embedding(input) 是读取第 input 词的词向量

问题：不知道embedding(input)是什么意思，因为weight和input的维度完全没法做乘法运算from torch.autograd import Variable as Vimport torch as tfrom torch import nnt.manual_seed(1000)input=V(t.randn(2,3,4))# 一个LSTMCell对应的层数只能是一层lstm=nn.LSTMCell(4,3)hx=V(t.randn(3,3))cx=V(t.

原创 经典的lstm(Embedding)的例子

from torch.autograd import Variable as Vimport torch as tfrom torch import nnn, d, m = 3, 5, 7embedding = nn.Embedding(n, d, max_norm=True)W = t.randn((m, d), requires_grad=True)idx = t.tensor([1, 2])a = embedding.weight.clone() @ W.t() # w...

原创 报错信息：RuntimeError: isDifferentiableType(variable.scalar_type()) INTERNAL ASSERT FAILED at ...

RuntimeError: isDifferentiableType(variable.scalar_type()) INTERNAL ASSERT FAILED at "/opt/conda/conda-bld/pytorch_1607370156314/work/torch/csrc/autograd/functions/utils.h":64, please report a bug to PyTorch.解决办法：加上去 with t.no_grad():...

原创 函数可导和可微的区别： 一元中互为充要；多元中可微是可导的必要条件，可导不一定可微。

答案：资料1：资料2：资料3：

原创 编译原理 第二次实验 语法分析 按照崔老师上午授课内容写出来框架

//头文件#include<bits/stdc++.h>#include <iostream>#include <map>#include <algorithm>#include <string>#include<string.h>#include<stdio.h>#include<time.h>#include<sstream>using name...

原创 普通神经网络反向传播过程

注：1）普通神经网络反向传播过程和卷积神经网络全连接反向传播一样。2）输入层是第一层，不需要激活，输入的数据即是3) W和B的反向传播适用于所有层，而输出层适用公式：隐层适用公式：4）教科书中一般是直接对输出层神经元激活前的值求导，而不是对输出层神经元激活后的值求导。5）对输出层激活后的神经元求导（如果损失函数使用均方差）：...

原创 RNN的前向传播函数

程序：import torch as tfrom torch import nnfrom torch.autograd import Variable as Vt.manual_seed(1000)# 输入 batch_size=3,序列长度都为2，序列中每个元素占4维input=V(t.randn(2,3,4))print(input)# lstm 输入向量4维，3个隐藏元，1层lstm=nn.LSTM(4,3,1)# 初始状态：1层，batch_size=3,3...

原创 Hadamard product 和 矩阵乘积

1. Hadamard product定义：实现：2. 矩阵乘积定义：实现：

原创 RNN的原理和公式

正常的LSTM：资料：

原创 创建神经网络时，为什么用ModuleList而不用List

ModuleList是Module的子类，挡在Module中使用它时，就能自动识别为子module。输入：from torch import nnimport torch as tfrom torch.autograd import Variable as Vclass MyModule(nn.Module): def __init__(self): super(MyModule,self).__init__() self.list=[nn.L...

原创 使用nn.Sequential 、 ModuleList创建卷积神经网络：conv 和 input 之间的关系

此篇笔记两个重点：第一，卷积神经网络创建方法。第二，conv 和 input 的关系。1.使用nn.Sequential创建卷积神经网络目的：对于 将每一层的输出直接作为下一层的输入，这种网络称为前馈传播网络（Feedforward Neural Network）。对于此类网络，如果每次都写复杂的forward函数会有些麻烦，在此就有两种简化方式，ModuleList和Sequential。其中Sequential是一个特殊的Module，它包含几个子Module，前向传播时会将输入一层

原创 eps的作用

eps是为了防止分母为0，一般可以取1e-4到1e-8之间。

原创 Batch Normalization 解释

我对batch normalization的理解是：pytorch document：

原创 神经网络中可学习参数不应该人为随便修改

对module属性进行操作的时候，可学习参数一般会随着学习的进行而不断改变。实际使用中除非需要使用特殊的初始化，否则应尽量不要直接修改这些参数。

原创 正态分布、期望和均值的区别、有偏和无偏估计量（方差）的理解

综合资料一二三，分析（有偏和无偏估计量）方差。资料一：资料二：资料三：资料四：分析： 此处包含方差的一个公式，方差 = 平方的期望 - 期望的平方...

原创 pytorch中view，squeeze都可以改变向量维度

import torch as ta=t.arange(1.0,10,1)print(a)print(a.shape,a.size())a=a.view(1,1,9,1)print(a)print(a.shape,a.size())a=a.view(9)print(a)a=a.unsqueeze(1)print(a)print(a.shape,a.size())a=a.squeeze(1)print(a)print(a.shape,a.size())...

原创 （一张3*225*225）图片进行view变换（结合ToTensor 、 ToPILImage）：python默认逐行读取数据，读取完一个C，继续第二个C的逐行读取，直至完毕

可以思考下为什么图片变成了3*3 9份而这里的图片变成了3*1 3份不懂得可以问我。

原创 ToTensor和ToPILImage 函数的一些注意点

ToTensor和ToPILImage函数是对应的，如下将一个经典图片lena.png进行显示：会发现输出具有多个ToPILImage的时候，将会产生错误，图片显示失败。只有一个to_pil的时候，就不会产生错误。可能tmp文件中该图片只能出现一张，多张会出现占用错误。...

原创 pytorch 中 数、数组、矩阵(向量也是矩阵)的区别

数：torch.size([ ])数组： torch.size([个数])矩阵（向量）：torch.size([行数，列数])

原创 tensor和Tensor

共同点：两者都可以创建数组。不同点：Tensor可以创造矩阵（向量）,但是tensor不可以（tensor输入参数只能是一个）。不同点：相同点：

原创 合并张量变量 支持0维(标量)张量 volatile标志的弃用 dtypes、devices和numpy风格的张量创建函数 设备无关代码 nn.Module 子模块、参数、缓存新边情况约束

by The PyTorch TeamWelcome to the migration guide for PyTorch 0.4.0. In this release we introducedmany exciting new features and critical bug fixes, with the goal of providing users a better and cleaner interface. In this guide, we will cover the ...

原创 torch.shape 输出： torch.Size([3]) 与 torch.Size([])各自的实现方式

from __future__ import print_functionfrom torch.autograd import Variable as Vimport torch as ta=t.tensor(1,dtype=t.float)print(a,a.shape,a.dtype)b=V(t.tensor([1,1,1]))print(b,b.shape,b.dtype)

原创 pytorch中Variable

autograd 模块实现了计算图的相关功能，核心数据结构是Variable。Variable封装了tensor，并记录对tensor的操作记录用来构建计算图。结合资料：https://www.cnblogs.com/wanghui-garcia/p/10629227.html...