- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【从 0 开始学习 Transformer】拾遗：文章本身的问题与解释
首先感谢中科院计算所王子和先生提供的宝贵意见。由于文章结构的关系，为了能够同时兼顾代码的真实和描述的通俗。我使用了一些可能会有一定误导性的距离说明。在这里做一些解释。1. 关于 batch_size在本系列上篇的 5.2.2. 使用向量化来提升效率，一节中。我使用了这样的描述：举个例子：若有 batch_size 批次，每批次 N 条的 Query，Key。 其计算完全可以组织成 (ba...
2020-01-07 15:46:54
361
原创 一个小测试：Java 原生基本类型数组装入容器效率对比
众所周知，Java没有原生优雅的基本类型装入容器的方法。目前，只能使用基于流（Stream）和基于循环的。考虑两种装入方法：基于循环的int[] nums = {1, 2, 3, 4, 5, 6, 7, 8};ArrayList<Integer> list = new ArrayList<>();for (int i: nums) { list.add(i)...
2020-01-07 09:44:51
190
原创 如何用Visio在电子科技带学毕业论文LaTex模板里插入一张合格的矢量图？
插个图是真的烦，烦都烦死的来。本教程适用于王稳版和shifujun版毕业论文模板。去除白边首先打开Visio。点击文件点击选项自定义功能区 - 主选项卡 - 开发工具的勾勾勾上回到主界面 - 点击开发工具功能卡 - 选择 显示ShapeSheet - 选择 页把红框内四个属性改成 0 mm至此为止去除了保存为PDF后会出现的白边。设置页面大小...
2019-12-24 17:21:17
988
原创 【从 0 开始学习 Transformer】番外：Transformer 如何穿梭时空？
1. 前言讲解 Transfomer 在训练阶段为何无需循环调用模型即可完成导师监督（teacher-forcing）法。讲解前瞻遮挡原理的精妙用法：通过一次正向传播，模拟模型逐个得到得到整个目标句子的预测过程。2. Transformer 穿越时空了？首先，我们来看看 Transofrmer 是如何完成导师监督的（下面这是一张动图，依然来自Jay Alammar，有可能加载不出来，请参考原...
2019-12-15 10:53:10
747
原创 【从 0 开始学习 Transformer】下：Transformer 训练与评估
1. 前言2. 创造原训练集的编码表示2.1. 数据下载与读取2.2. 创建子词分词器2.3. 数据处理3. 损失函数设计4. 优化器与学习率5. 自回归原理6. 训练6.1. 超参数6.2. 训练6.2.1. 创建遮挡6.2.2. 创建训练步骤及保存模型6.2.3. 开始训练7. 评估1. 前言在上一篇文章中我们已经描述了 Transfo...
2019-12-13 15:03:24
4984
3
原创 【从 0 开始学习 Transformer】上：搭建与理解
1. 前言2. 参考代码、文章及部分插图来源3. 在开始前的推荐了解3.1. 循环神经网络（RNN）3.2. 基于编码-解码（encoder-decoder）的序列到序列（sequence2sequence）模型3.3. 注意力机制3.4. 词嵌入（Word Embedding）4. 初探 Transformer5. 基础算法和模块5.1. 位置编码（Position...
2019-12-02 15:41:29
1635
2
原创 ConvLab介绍及使用
目录ConvLab介绍及使用目录论文及代码简介对话系统架构介绍ConvLab架构设计Agents-Environments-Bodies（AEB）Session, Trial and Experiment使用安装PipDocker测试运行spec file论文及代码论文：ConvLab: Multi-Domain End-to-End...
2019-06-23 21:14:12
3510
1
原创 HTTPS及非对称加密
非对称加密：公钥加密，只有私钥能解密。私钥加密，只有公钥能解密。A首先生成一对公钥和私钥，然后将公钥公开给别人加密，别人使用公钥加密报文发送给A，A使用私钥解密。反之相同。（发送给某人，用某人的公钥加密。证明自己的身份，用自己的私钥加密）摘要算法：输出用于校验数据的长度固定的数据指纹。数字签名：防止数据被篡改:发送端：数据 -摘要算法-> 指纹 -私钥加密-> 指纹密文（签名...
2018-08-31 16:50:44
620
原创 空格还是Tab？用Vim写Python缩进的正确姿势
首先讨论一下Tab和空格。在硅谷第三季中，Richard因为用Tab还是空格的问题和本来情投意合的女孩吵架，甚至于决裂。很多人会觉得这是调侃程序员为了一些毫无意义的小事情“站队”，强迫症。事实上，对于程序员来说，其实Tab和空格远远不只是“立场”问题那么简单。众所周知，Tab在ASCII码中，编码是9，而空格是32。这也就是说，当我们按下一个Tab的时候，即使它看起来就是8个空格（或者...
2018-08-31 16:48:07
2379
翻译 JavaScript this 详解
全局作用域下的this在浏览器中，当this处于全局作用域时，this和window是相同的。 <script type="text/javascript">console.log(this === window); //true</script>在浏览器中，使用var在全局作用域下定义变量等价于为this或者window添加属性。 <sc...
2018-08-31 16:43:28
824
原创 范数、矩阵范数到 numpy 范数函数
向量范数范数（norm），是具有“长度”概念的函数 ppp。在线性代数、泛函分析及相关的数学领域，是一个函数，其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。它是欧几里得空间中长度的推广。举一个简单的例子，一个二维度的欧氏几何空间ℝ2R2\mathbb {R} ^{2}就有欧氏范数。在这个向量空间的元素（譬如：(3,7)）常常在笛卡儿坐标系统被画成一个...
2018-08-19 16:20:29
3849
原创 Neural Networks and Deep Learning ( Week 2 )
整个第二周的第一个任务就是将一个低效的用循环实现的逻辑回归计算图用向量化的形式改写，以提升速率。Vectorization此节阐述了概念并证明了向量化可以显著提升性能。向量化是指将循环操作的向量运算转化为直接的向量运算。可以显著提升性能。内积//a，b 分别为百万数量级的数组，求两个数组的内积//向量化c = np.dot(a, b) //消耗时间约1.5ms ...
2018-08-07 16:50:49
560
翻译 Docker 笔记：在 macOS 上 Docker Toolbox 与 Docker 相关问题
Docker Toolbox 环境Docker Toolbox 安装docker，docker-compose和docker-machine在 Mac 的usr/local/bin路径下。此外，它还安装 VirtualBox。安装的时候，docker-machine会创造一个 VM 虚拟机并命名为 defalut，此虚拟机运行boot2docker linux 发行版。此发行版带有认证过的 D...
2018-08-02 17:21:29
2041
原创 Docker笔记：安装 TensorFlow
前言按照以下步骤通过 Docker 安装 TensorFlow：按照 Docker 文档中的说明在计算机上安装 Docker。（可选）创建一个名为 docker 的 Linux 组，以支持启动不带 sudo 的容器（如 Docker 文档中所述）。（如果不执行此步骤，则每次调用 Docker 时都必须使用 sudo。）要安装支持 GPU 的 TensorFlow 版本，您必须先安装 ...
2018-08-01 14:02:19
856
原创 Docker 笔记：官方镜像站以及更改镜像源
Docker 通过镜像来创造容器，镜像的官方仓库地址为Docker Hub。更改镜像源通过 Docker 官方镜像加速，中国区用户能够快速访问最流行的 Docker 镜像。该镜像托管于中国大陆，本地用户现在将会享受到更快的下载速度和更强的稳定性，从而能够更敏捷地开发和交付 Docker 化应用。Docker 中国官方镜像加速可通过 registry.docker-cn.com 访问。该...
2018-07-29 17:06:49
1746
原创 Docker笔记：权限、开机启动、远程连接及防火墙配置
权限设置docker的守护进程是绑定在 Unix 套接字上的而并非使用 TCP 端口。Unix 套接字默认是 root 拥有的，普通用户只能使用sudo才能使用。docker的守护进程一般是作为root用户运行的。 如果你不想在使用docker命令的时候频繁输入sudo，创建一个叫做docker的 Unix 用户组，并且添加用户。等docker守护进程开始运行时，可以使docker用户组的用...
2018-07-27 21:35:13
2080
原创 Neural Networks and Deep Learning （Week 1）
Logistic Regression as a Neural NetworkBinary Classification本周要学习的内容不显式使用for循环处理m个训练样本前向传播与反向传播以Logistic Regression为例逻辑回归是一个一种二元分类算法。课程举例：输入一张图片，算法输出0或1标签，指明图上是不是猫。术语表Deep Lea...
2018-07-26 16:02:28
492
原创 Docker笔记：介绍、安装、卸载、更新
Docker 版本介绍目前Docker提供两种版本，Community版本和企业版本。 其区别如下： 功能 Community Edition Enterprise Edition Basic Enterprise Edition Standard Enterprise Edition Advanced 容器引擎；内置的编排功能（built in orc...
2018-07-25 02:58:24
572
原创 GPG/GnuPG
简介GNU Privacy Guard（GnuPG或GPG）是一种加密软件，它是PGP加密软件的满足GPL的替代物。GnuPG依照由IETF（创建自愿性标准，以保持和提高互联网的易用性和互操作性的组织）订定的OpenPGP技术标准设计。GnuPG用于加密、数字签名及产生非对称钥匙对的软件。GnuPG使用用户自行生成的非对称密钥对来加密信息，由此产生的公钥可以同其他用户以各种方式交换，如密钥...
2018-06-22 19:24:50
629
原创 详解tf.reshape
函数原型：tf.reshape( tensor, shape, name=None)功能改变张量（tensor）的形状。tensor形参传入一个tensor。shape传入一个向量，代表新tensor的维度数和每个维度的长度。如果传入[3,4,5]，就会返回一个内含各分量数值和原传入张量一模一样的3*4*5尺寸的张量。如果shape传入的向量某一个分量...
2018-05-11 18:25:02
5035
原创 用人话讲解tf.split
API原型（TensorFlow 1.8.0）：tf.split( value, num_or_size_splits, axis=0, num=None, name='split')这个函数是用来切割张量的。输入切割的张量和参数，返回切割的结果。 value传入的就是需要切割的张量。 这个函数有两种切割的方式：以三个维度的张量为例，比如说...
2018-05-10 19:13:23
9081
10
转载 （转载）浅谈 Python 的 with 语句
浅谈 Python 的 with 语句原文引言with 语句是从 Python 2.5 开始引入的一种与异常处理相关的功能（2.5 版本中要通过 from __future__ import with_statement 导入后才可以使用），从 2.6 版本开始缺省可用（参考 What’s new in Python 2.6? 中with语句相关部分介绍）。with 语句适用于对资源进...
2018-05-06 17:29:17
184
转载 欢迎使用CSDN-markdown编辑器1
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-05-04 19:50:17
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人