s_sunnyy的博客

学习DL&HPC,部分有转载的其他博主的文章,只为记录学习,如有侵权,请联系我。...

离线源码安装tensorflow

离线源码安装tensorflow 离线源码编译简直是个坑,记录下我踩坑的过程。。 参考: http://www.icode9.com/content-1-97054.html https://blog.csdn.net/conling_/article/details/72902571 https...

2019-01-08 14:22:45

阅读数 529

评论数 1

几篇论文

训练ImageNet记录 AlexNet   Batch Size Processor GPU Interconnect Time Top-1 Accuracy You et al. 512 DGX-1 station  NVLink ...

2018-12-25 10:23:10

阅读数 54

评论数 0

分布式深度学习(I):分布式训练神经网络模型的概述

了解一下如何使用GPU分布式计算来显著提高深度学习模型的训练速度,介绍数据并行化和模型并行化的方法,重点介绍数据并行化的参数平均、异步随机梯度下降和去中心化异步随机梯度下降方法,以及讨论其中面临的一些挑战和当前的研究方向。我们还会讨论在何种场景下适合(或不适合)采用分布式算法来训练神经网络模型。

2018-04-11 14:53:27

阅读数 2028

评论数 0

batch normalization中的moving average

训练时使用一个minibatch的训练数据计算均值和方差然后标准化数据,在test的时候我们也希望作相同的处理,比较直接的方法是在训练集上重新计算一遍统计量,但是,如果有1000w数据,这种计算就比较花费时间,而test的速度越快越好,所以在训练的时候,顺便就把均值和方差计算出来了,当然不是精确值...

2018-04-11 14:43:12

阅读数 926

评论数 0

CNN几种经典模型比较

LeNet5LeNet5 诞生于 1994 年,是最早的卷积神经网络之一,并且推动了深度学习领域的发展。自从 1988 年开始,在许多次成功的迭代后,这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5(参见:Gradient-Based Learning Applied to D...

2018-04-10 11:14:19

阅读数 864

评论数 0

深度学习网络精确率、大小的比较

论文An Analysis of Deep Neural Network Models for Practical Applications 比较了2016年前的一些神经网络的大小,精度等参数。如下图所示:2016年以来有出现了一些新的神经网络结构,特地查阅了一些论文,总结了一下(发现有很多数据没...

2018-04-10 11:06:27

阅读数 1072

评论数 0

几篇论文记录(其他博主的读书笔记)

卷积神经网络的并行化模型——One weird trick for parallelizing convolutional neural networks总结:One weird trick for parallelizing convolutional neural networks『 论文阅读...

2018-04-10 10:58:13

阅读数 135

评论数 0

论文阅读 - 大batch_size训练时保证精度的LARS方法

阅读了Yang You等的系列论文(现在才发现其实以下四篇实际是两篇。。)1. Scaling SGD Batch Size to 32K for ImageNet Training. https://arxiv.org/abs/1708.03888v1 2. Large Batch Traini...

2018-04-09 17:47:01

阅读数 812

评论数 0

origin画图修改横坐标

当在origin中画图,如果横坐标不为连续的整数,比如以下这种:GPUS images/s 1 277.91 2 542.7116667 4 1059.7775 8 2118.373767 16 4141.461033 就会生成以下这种图。。。。怎么把横坐标调整呢只要把横坐标的一列全选...

2018-03-25 16:17:01

阅读数 7574

评论数 0

TensorFlow benchmarks脚本中命令参数必须加“=”

这个问题已在GitHub上提出 https://github.com/tensorflow/benchmarks/issues/132 ===================================================== 在TensorFlow benchmarks测试时...

2018-02-07 09:56:48

阅读数 460

评论数 0

Ubuntu16.04安装Chrome浏览器及解决root不能打开的问题

1. 安装桌面(emmm,不知道是否只执行第二个命令就行) # apt-get install gonme # apt-get install ubuntu-desktop 2. 安装Chrome浏览器 # wget http://www.linuxidc.com/files/repo...

2018-02-07 09:38:16

阅读数 14147

评论数 4

Linux ssh无密码登录

总体来说两个步骤:生成本地密钥~/.ssh/id_rsa.pub,将密钥复制到远程机器的~/.ssh/authorized_keys文件中 在两个节点上分别进行如下步骤,以node00为例 1. 生成密钥,会生成~/.ssh/id_rsa.pub文件 命令: ro...

2018-01-26 10:45:26

阅读数 125

评论数 0

使用 virtualenv 源码安装 TensorFlow 1.4.1

由于TensorFlow1.5.0测试中多机nccl/xring时一直出错,故尝试之前版本,为了不破坏当前的环境,使用virtualenv来安装TensorFlow1.4.1,以下是安装过程 1. 安装所有必备工具: apt-get install python-pip python-...

2018-01-24 11:45:22

阅读数 607

评论数 0

分布式TensorFlow批量运行worker/ps

最近在测试分布式TensorFlow,有一个问题一直很困扰我,就是worker和ps要分别在各节点上手动启动,然后参考GitHub上相关的问题及回答,好像对于distributed_replicated mode来说,每个节点上分别启动一个ps和一个worker会比较好,但是这样的话,如果是在32...

2018-01-22 16:03:47

阅读数 2454

评论数 2

linux怎么远程执行另一台linux机器上的shell文件?

https://zhidao.baidu.com/question/424323362.html==============================================================例如:在Blinux /opt/m.sh m.sh中命令是date 我现在想在...

2018-01-18 11:08:05

阅读数 3780

评论数 0

PCIe传输速率和可用带宽(吞吐量)计算

参考:https://baike.baidu.com/item/pcie/2167538?fr=aladdin           http://blog.csdn.net/zenglichuanjia/article/details/47297845   http://www.baike.c...

2018-01-10 19:26:23

阅读数 26874

评论数 0

NCCL 故障排除 二

5.4. NCCL Knobs A knob isa type of environment variable that can you can turn on or off by settingspecific values. These environment variables shoul...

2018-01-10 16:20:08

阅读数 1682

评论数 0

NCCL 故障排除 一

官方文档 http://docs.nvidia.com/deeplearning/sdk/nccl-developer-guide/index.html#troubleshooting =====================================================...

2018-01-10 14:40:31

阅读数 2220

评论数 0

Linux下查看PCI-E插槽信息的方法【转载】

原文: http://blog.chinaunix.net/uid-1829236-id-3188434.html ====================================================================== 在 Linux 下要如何...

2018-01-10 12:28:36

阅读数 3503

评论数 0

Ubuntu16.04源码安装TensorFlow

在进行TensorFlow测试,想得到最优的性能,学习TensorFlow相关文档,源码编译会得到更好的性能 Building and installing from source The default TensorFlow binaries target the broades...

2018-01-05 10:13:09

阅读数 1909

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭