qq_41764621的博客

1. worker 是一个分布式概念，在(nts)等通用的含义是 ：一个CPU和一个GPU 组成一个worker 搭配用于训练。多机多worker（简称“多机”）：多个worker 一起训练，每个worker还是一个CPU配合一个GPU训练。2. 单机单worker（简称"单机"）: 一个CPU 一个 GPU一起配合进行训练。单机多卡：一个CPU 多个 GPU一起配合进行训练。3. nts 中的MPI是用于连接多个worker的 ~

由于我们的键盘输入速度一定时远低于CPU 处理速度的，虽然理论上的执行顺序应该是：CPU等待 键盘输入两个值 -- CPU读取这两个值并赋给a,b这两个变量对应的空间 -- CPU 对这两个变量做乘法 -- 将乘积输出。那CPU去处理其他的事情，键盘输入的数据就不会输入的瞬间被CPU接受然后赋给对应变量，这两个从键盘输入的数值 就会存储到 缓存区buffer中。但事实上，CPU 不可能去等待键盘输入的，在键盘输入的过程中，CPU会去处理其他的事情（否则就会CPU资源浪费呀）我目前的理解：【可能是错的】

Linux发行版为终端用户提供了随时可用的预编译软件（二进制的包），以方便软件的安装；（软件包一般是 ：已经被编译过的机器码 + 描述信息、版本信息、依赖信息等构成的元数据）以前，安装一个软件要通过源码进行安装：我们需要自己来部署源码之间的依赖关系，并且要求我们自己在本机将源码编译成功才可以使用该软件。[Linux发行版也是一堆软件的集合，所以它也是被切割为多个软件包，然后被软件包管理系统 安装的][ps]软件包管理器不只是Linux上的概念，例如，对于python的包，也有 pip 包管理器。

是一个系统：用户无须编译，安装后即可使用Linux发行版一般集成了 "GNU/Linux 操作系统" 和 "各种应用软件（如 桌面环境、办公包（eg. Ubuntu的LibreOffice四件套）、媒体播放器、数据库等应用）"Linux发行版（一般）通过 "软件包管理系统" 来 支持和管理 用户自己下载的应用软件Linux发行版 有两大类：一类是商业发行版：如 Ubuntu(Canonical公司)、Red Hat Enterprise Linux等等。

GNU项目提供 编辑器（EMACS）、编译器（GCC）、调试器（GDB）、汇编器、链接器、处理二进制文件的工具等等一系列构成operation system的必要组件。它创造了无数的重要的工具，例如：强健的编译器，有力的文本编辑器，甚至一个全功能的操作系统（除了operation system 的 kernel）Linux往往和GNU一并被提起，Linux不属于GNU项目，但Linux满足GNU项目提出的标准GPL。GNU计划致力于开发一个自由并且完整的类Unix操作系统。

在gayhub上找软件时看到的，各种不同的版本：dmg是mac系统用的安装包x64是 windows的64位操作系统x86是 windows32位操作系统怎么看自己电脑是哪个呢：右键找到属性，点击之后进入"关于"界面，如上图红色框所示，我电脑室64位，所以x64就好了...

1.自动微分是干什么的：自动微分现在已经是深度学习框架的标配，我们写的任何模型都需要靠自动微分机制分配模型损失信息，从而更新模型。简言之，就是在模型更新计算梯度的时候会用到自动微分。在数学和计算机代数中，自动微分有时称作演算式微分，是一种可以借由计算机程序计算一个函数导数方法。两种传统做微分的方法为：对一个函数的表示式做符号上的微分，并且计算其在某一点上的值。 使用差分。（即数值微分）使用符号微分最主要的缺点是速度慢及将计算机程序转换成表示式的困难，且很多函数在要计算更高阶微分时会变得复杂。

为方便讲述，举一些数字例子：假设总数据集有100000条训练数据，每条数据的格式都是{data；label}stochastic-gradient-descent：每次随机选择一条训练数据，以此条数据前向传播后得到的值与label之间的loss来更新模型梯度batch-gradient-descent：（有时也称作minibatch-gradient-decent）batch：有时训练数据过大无法一次性装入内存；活着就是单纯为了采用batch-gradient-decent这种训

# Andrew Ng对端到端的解释：End-to-end: there have been some data processing systems that require multiple stages of processing. And what end-to-end deep learning does is it can take all those multiple stages and replace it usually with just a single neural netwo