nyist_yangguang的博客

原创 torch 官方文档

https://pytorch.org/docs/stable/torch.html

原创 pytorch: grad can be implicitly created only for scalar outputs 的解决办法

加上去 X.backward(torch.ones_like(b))import torch a = torch.randn(2, 3, requires_grad=True) # 创建一个张量b = 3 * a b.backward(torch.ones_like(b)) # 自动计算所有梯度print(a.grad)

转载 反向传播——计算图基础知识

原文地址：http://colah.github.io/posts/2015-08-Backprop/计算图运算：BP发布于2015年8月31日Introduction简介：Backpropagation is the key algorithm that makes training deep models computationally tractable. For modern neural networks, it can make training with gradient...

原创 torch.manual_seed() 随机数种子，为了复现实验结果，当seed一样，可以保证在不同计算机上面运行的结果（生成的随机序列）一样

1. torch.manual_seed()作用：在自己电脑上第二次运行程序，用来复现自己程序第一次运行的结果manual 美:['mænjuəl] 英:['mænjʊəl] n.说明书；指南；使用手册 adj.用手的；手工的；体力的；手动的 网络手动模式 它可以复现实验结果，注意，复现的是自己的电脑上面的结果。也就是说，自己的pc端跑程序，用的rand()或者randn() 函数，生成随机数列，在设计了种子以后，可以在下次运行的...

原创 python 程序的加速方法 builtin function 、 向量化方法

1. 可以使用内建函数通过程序可以看出，内建函数比普通函数快10倍左右。built in function 是用c/c++在底层实现的函数，较python快的多。2. 如果这样的加速，仍然不符合预期，可以尝试向量化的方法...

原创 torch中普通索引和高级索引

高级索引可以看做是普通索引操作的扩展，高级索引操作一般不和原始的Tensor共享内存。Tensor内部结构：

原创 torch中广播

原创 numpy 和 tensor 的区别

关系：两者共享内存，转换方便，没有额外的开销。区别：1 数据类型上面的区别：numpy 默认类型是 float64torch 默认类型是float32

原创 RuntimeError: scatter_cpu_(): Expected self.dtype to be equal to src.dtype

torch.arange() 产生的数据类型是 int两者类型不同，解决办法：

原创 torch的unsqueeze()

原创 由于多进程引起的——pycharm debug断点调试时遇到Pycharm DataLoader会卡死

num_works参数 就是进程的使用情况。num_works 非零时，进入for循环会卡在这。改为0，可以运行了。把DataLoader中的参数num_workers 设为 0即可参考资料Debugger freezes stepping forward when using pytorch with workers (multiprocessing)知乎 - pytorch dataloader 使用batch和 num_works参数的原理是什么？ 原理解析...

原创 pycharm 快捷键

原创 ubuntu 、 google 、搜狗输入法 繁体字的解决办法

先把语言设置为英语，同时要把界面语言选为英语，然后删除所有非英语的语言，再添加简体中文，然后修改语言。重启浏览器就可以了

原创 linux / ubuntu 下 安装 jupyter notebook 并配置远程访问 附加：Tab无自动补全的解决办法

1 安装jupyter notebook当然，如果安装了anaconda ， conda install jupyter 也可以。2 配置远程访问1、生成配置文件打开ubuntu终端，输入命令：jupyter notebook --generate-config2、生成密码打开新终端，并且进入python界面（输入python即可）（我的是anaconda3，使用的python3.7）输入：from notebook.auth import passwdp.

原创 RNN trigger word detection

原创 Speech recognition question 使用 attention model

原创 RNN attention model intution

注：attention model intution 用到了 bidirection RNN ，并减少了输出词对于输入词关注的长度，以提升计算的效果。注： ... 先不生成 , 往回走的时候，a-left a-right 都有了，再从后到左逐一生成。注：第一个单词。注：第二个单词。...

原创 linux安装pdf阅读器 | 安装删除有道词典

福昕PDF阅读器免费下载_福昕PDF阅读器电脑版官方下载_福昕阅读器官网2 安装删除有道词典删除命令 sudo apt-get --purge remove youdao-dict

原创 Bleu score(Bilingual Evaluation Understudy) 双语评价替补评分

bilingual美:[baɪ'lɪŋɡwəl] 英:[baɪ'lɪŋɡwəl]adj.会说两种语言的；用两种语言（写）的 n.能讲两国话的人evaluation美:[ɪ.vælju'eɪʃn] 英:[ɪ.vælju'eɪʃ(ə)n]n.评价；【数】赋值 网络评估；估价；评监understudy美:['ʌndər.stʌdi] 英:['ʌndə(r).stʌdi]n.候补演员；替角 v.排练当候补演员；做替角 网络预备演员；替角儿；替身...

原创 RNN error analysis on beam search

原创 RNN select most likely sentence greedy search (no soft max) beam search (soft max)

注意：增加log 提升相似度乘积，解决了在近似度求解的过程中精度丢失严重的问题。进一步改变区间，提升计算的效果。

原创 RNN word representation / featurized representation

原创 RNN GRU (简洁) LSTM（灵活） BRNN（双向） Deep RNN（hidden layers）

RNN：GRU:LSTM:BRNN:需要一个完整的sentence，完整的句子，不能处理实时句子。

原创 RNN / language modelling and sequence generation

原创 清华源 与 安装CV2

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel_urls yes

原创 编译原理 实验一+二+三 词法分析+语法分析+表达式求值 采用递归下降的方法

// pL/0语言词法分析器#include<bits/stdc++.h>using namespace std;ifstream infile("c.txt");//词法分析的结果或语法分析的输入string str;//string变量进行字符识别string sym; //指针string sym1;int temp=0;void expressionAnalysis();//表达式分析void termAnaysis();//项分析void factor...

原创 卷积神经网络反向传播过程

我导讲的比吴恩达好得多啊！崇拜

原创 rnn的类型

原创 RNN的forward propagation and backpropagation

原创 RNN 原理

传统的神经网络长度方面不适用（传统的都是等长的），传统的神经网络不能联系上下文。所以处理sequence data 需要新的模型 RNN。

原创 conda 安装 tensorflow

指定版本可以如下：如果报错，比如版本问题，可以试试conda install tensorflow-gpu该命令会指定安装当前python对应版本的tensorflow

原创 几种经典的CNN模型 LeNet-5、AlexNet、VGG、Residual network、network in network and 1x1 convolution、Inception net

1. LeNet-52. AlexNet3. VGG

原创 卷积神经网络_吴恩达讲解有误的地方

错误：疑问：

原创 简单卷积网络例子

原创 单层卷积网络

eg:内容：

原创 strided convolution 跳出格 \padding \without padding 计算公式

padding:

原创 exponentially weighted averages 指数加权平均值

原创 Gradient checking 细节

原创 模型训练中做gradient checking

原创 gradient checking