DarrenXf的专栏

Proximal Policy Optimization Algorithms 近端策略优化算法论文地址https://arxiv.org/abs/1707.06347个人翻译，并不权威John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg KlimovOpenAI{joschu, filip, prafulla, alec, oleg}@openai.comABSTRACT 摘要我们提出了一种新的强化学习策略梯

CONTINOUS CONTROL WITH DEEP REINFORCEMENT LEARNING论文地址https://arxiv.org/abs/1509.02971个人翻译，并不权威Timothy P.Lilicrp,Jonathan J.Hunt,Alexander Pritzel, Nicolas Heess,Tom Erez, Yuval Tassa, David Silver & Daan WierstraGoogle DeepmindLondon,UK{count

#极大似然估计 伯努利分布 高斯分布 正态分布概率分布的参数能以最高的概率产生这些样本。如果观察到的数据是 D1,D2,D3,...,DND_1, D_2, D_3, ... , D_ND1​,D2​,D3​,...,DN​,那么极大似然的目标如下：maxP(D1,D2,D3,...,DN)max P(D_1, D_2, D_3, ... , D_N)maxP(D1​,D2​,D3​,.....

paper OpenAI GPT Improving Language Understanding by Generative Pre-Traininghttps://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf个人...

implement OpenAI gptpapersGaussian Error Linear Unitstranslate to chineseAttention Is All You Needtranslate to chineseImproving Language Understanding by Generative Pre-Trainingtranslate to chi...

paperhttps://arxiv.org/abs/1606.08415个人翻译，并不权威高斯误差线性单元摘要我们提出高斯误差线性单元（GELU)，一个高性能的神经网络激活函数。GELU的非线性是通过随机地应用恒等或0来映射一个神经网络的输入的随机正则化的预期转换。GELU的非线性权重输入通它们的量级而不是像ReLU那样通过输入的符号控制输入。我们执行一个关于GELU,ReLU...

Attention Is All You Needpaperhttps://arxiv.org/pdf/1706.03762.pdf注意力就是你需要的所有摘要主导的序列转换模型是基于复杂的循环或卷积神经网络，包括编码器和解码器。最佳性能的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络结构，即Transformer，它只是基于注意力机制，完全不需要循环和卷积。两...

paperhttps://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf个人翻译，并不权威语言模型是非监督多任务学习器摘要自然语言处理任务，比如问答，机器翻译，阅读理解和摘要，通常是通过在具体任务数据集上的监督学习方法处理的。我们证明语言模型开始学习这些任务没有任何显示的监督, 当训练在一...

收集匆忙，并不保证准确datasetindexdatasetAbbreviationtasknote1LiBriSpeechAutomatic speech recogniton2WSJAutomatic speech recogniton3Hub5’00 EvaluationAutomatic speech recogniton...

tableI translated it myself. It may not be authoritative.indexEnglishChinese1Automatic speech recogniton自动语音识别2CCG supertaggingCCG 超级标记3Common sense常识4Constituency parsing...

papersGaussian Error Linear Unitstranslate to chineseAttention Is All You Needtranslate to chineseImproving Language Understanding by Generative Pre-Trainingtranslate to chineseLanguage Models ...

BERT个人翻译，并不权威。paperhttps://arxiv.org/pdf/1810.04805.pdfBERT:Pre-training of Deep Bidirectional Transformers for Language Understanding 深度双向Transformers预训练解决语言理解Abstract 摘要我们引入被叫做BERT的新的语言表示模型，...

GLUE 是一个自然语言任务集合，包括以下这些数据集namefull nametaskchineseMNLIMulti-Genre NLINatural language inference自然语言推断QQPQuora Quora Question PairsSemantic textual similarity/Paraphrase identifica...

pytorch gpu 显存调试如何运行 gpu_memory_logimport torchfrom gpu_memory_log import gpu_memory_logdtype = torch.floatN, D_in, H, D_out = 64, 1000, 100, 10device = torch.device("cuda")x = torch.randn(N,...

stock_codestock code, stock symbol美股股票代码file us_stock_code.csv code name0 A 安捷伦1 AA ...

pip 安装matplotlib 没有能成功，打印出错误Beginning with Matplotlib 3.1, Python 3.6 or above is required原因本地环境是python 3.6以下的版本。解决如果不升python 版本的话， 降低要安装的matplotlib版本。出现这个问题，安装的版本应该是matplotlib 3.1试着降低版本pip in...

解决 No module named ‘matplotlib.finance’import matplotlib.finance as mpf然后使用mpf.candlestick_ochl出现上面的问题。出现这个问题的原因是在使用的matplotlib版本中， finance 库已经被剔除了。需要使用的话，就得安装。安装finance 库pip install -i http...

XLNet: Generalized Autoregressive PreTraining for Language Understanding个人翻译，并不专业。论文地址https://arxiv.org/pdf/1906.08237.pdfXLNet: 语言理解的广义自回归预训练摘要具有双向上下文建模，自动编码去燥的能力与基于自动回归语言模型的预训练方法相比，基于BERT的预训...

Attention is all you needTransformerLayerNorm(x + Sublayer(x))整理的Transformer 伪代码输入 Inputs 输出 OutputsX = Positional_Encoding(Input_Embedding(Inputs))X = LayerNorm(X + Multi-Head_Attention(X))X ...

task listAutomatic speech recognitionCCG supertaggingCommon senseConstituency parsingCoreference resolutionDependency parsingDialogueDomain adaptationEntity linkingGrammatical error correct...

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

papersThe Unreasonable Effectiveness of Recurrent Neural Networkshttps://karpathy.github.io/2015/05/21/rnn-effectiveness/Understanding LSTM Networkshttps://colah.github.io/posts/2015-08-Understan...

测试minpy 调用gpu加速numpy的矩阵相乘.小矩阵相乘,前面的文章中已经看到行数超过1000的方阵,基本上gpu就能起到加速效果.我们现在想知道的是具体的minpy 和numpy 性能的拐点.以此帮助我们决定使用cpu还是gpu. 具体结果测试应该是根据机器所不同的,我们这里的结果只是我们测试机的的结果.上一篇测试的时候只是测试了运行一次的时间,矩阵比较小时,测试到的运行时间误差比较大,...

MNIST 网站http://yann.lecun.com/exdb/mnist/四个文件train-images-idx3-ubyte.gz: training set images (9912422 bytes) train-labels-idx1-ubyte.gz: training set labels (28881 bytes) t10k-images-idx3-ubyte...

实现反向传播的算法可以在python2以及python3中运行,在我的测试环境中可以运行.我并没有详细去测试每一个python版本.算法中使用的数据是mnist数据集.下面是算法的代码forward_neural_network.py#!/usr/bin/python# -*- coding: utf-8 -*-#####################################...

安装pip install gpustat或者 换源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade gpustat使用gpustat -cpu或者watch --color -n1 gpustat -cpu显示输出

nvidia-msi或者watch -n 1 nvidia-smi打印出表格中：第一栏的Fan：N/A是风扇转速，从0到100%之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温（比如我们实验室的服务器是常年放在空调房间里的）。第二栏的Temp：是温度，单位摄氏度。第三栏的Per...

import numpy as npimport matplotlib.pyplot as plt x = np.linspace(-1,1,10)y = 2*x+1plt.plot(x,y)plt.show()python 运行得到下面的结果import matplotlib.pyplot as plt import numpy as npx = np.lin...

默认系统装的是Ubuntu 16.04，并且安装了显卡驱动。走过很多坑，这些软件之间是互相依赖的，所以我们只安装这些固定的版本。CUDA 9.0 cuDNN 7.0 tensorflow-gpu 1.8.0 希望以后会更容易安装些。如果不是这篇文章写了很久，就照着这篇文章做，不要试图去安装这里涉及软件的最新版本。第一步先安装 CUDA 9.0。这个并不是官方默认最新的。下载地址...

Verify You Have a CUDA-Capable GPU$ lspci | grep -i nvidia01:00.0 VGA compatible controller: NVIDIA Corporation Device 1b06 (rev a1)01:00.1 Audio device: NVIDIA Corporation Device 10ef (rev a1)...

cifar10 数据网站http://www.cs.toronto.edu/~kriz/cifar.html读取下面的文件CIFAR-10 binary version (suitable for C programs) 162 MB c32a1d4ab5d03f1284b67883e8d87530下载cifar-10-binary.tar.gz 到./data/文件夹下cd ./da...

python 实现单隐层神经网络,处理cifar10数据集forward_neural_network.py#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : forward_neural_network.py# Create date : 2018-12-...

涉及的论文spatial transformer networks in the DeepMind paper <https://arxiv.org/abs/15 06.02025>转换对比step lossstep accgithub:https://github.com/darr/spatial_transformer_networks...

涉及的论文GANhttps://papers.nips.cc/paper/5423-generative-adversarial-nets.pdfDCGANhttps://arxiv.org/pdf/1511.06434.pdf测试用的数据集Celeb-A Faces数据集网站:http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html下载...

涉及的论文Neural Conversational Model https://arxiv.org/abs/1506.05869Luong attention mechanism(s) https://arxiv.org/abs/1508.04025Sutskever et al. https://arxiv.org/abs/1409.3215GRU Cho et al. https:/...

数据集这个数据集是一个很小的imagenet的子集.下载链接https://download.pytorch.org/tutorial/hymenoptera_data.zip下载下来以后unzip hymenoptera_data.zip文件夹结构./data/hymenoptera_data/ ->train/ ...

测试minpy 调用gpu 加速numpy的矩阵相乘. 小矩阵相乘小矩阵相乘,行数在1-1000.测试用的都是方阵.所以元素数木在1到一百万.测试元素数目一到100万的矩阵相乘.上一篇中可以看到在行数超过1000的时候,gpu相对于cpu就会有绝对的加速效果.但是在行数1000以前会看到,gpu并不一定能够起到加速计算的效果.这里我们针对1-1000来看下.main.py#!/usr/...

测试minpy 调用gpu 加速numpy的矩阵相乘.main.py#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : main.py# Create date : 2019-01-05 17:11# Modified date : 2019-01-08 ...

测试minpy 调用gpu加速矩阵相乘,已经写了几篇文章.前几篇文章得到的结果不太好,主要原因是跟想象中的结果并不是很相同.主要有两点,一个是前几篇测试加速的效果并不是很好,矩阵要很大的时候才能看到明显的加速.另一个是我一个先验的经验认为float32的加速效果要明显比float64的加速效果要好很多. 但是这两点在前面的测试中并没有得到.这个就能感受到理论跟实验之间差距.如果你相信理论,相信...

#!/usr/bin/python# -*- coding: utf-8 -*-###################################### File name : test.py# Create date : 2019-01-05 17:11# Modified date : 2019-01-05 17:59# Author : DARREN# Describe :...