自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

David's Notes

Less is more.

  • 博客(136)
  • 资源 (3)
  • 收藏
  • 关注

原创 Transformer详解

文章目录12. Transformer12.1 Introduction12.2 在 Seq2Seq 架构中计算 Attention12.2.1 计算 Key k:ik_{:i}k:i​ 和 Query q:jq_{:j}q:j​12.2.2 计算 α:j\alpha_{:j}α:j​12.2.3 计算 Value v:iv_{:i}v:i​12.2.4 千呼万唤始出来:计算 cjc_jcj​12.3 Attention without RNN12.3.1 Attention 层12.3.1.1 计算 En

2020-10-14 15:08:41 80

原创 Self-Attention详解

文章目录11. Self-Attention11.1 Introduction11.2 Training11.2.1 初始化11.2.2 计算 h1h_1h1​11.2.3 计算 c1c_1c1​11.2.4 计算 h2h_2h2​11.2.5 计算 c2c_2c2​11.2.6 计算 h3h_3h3​11.2.7 计算 c3c_3c3​11.3 Summary11. Self-Attention11.1 IntroductionSeq2Seq 模型有两个RNN网络,一个 Encoder,一个 Dec

2020-10-14 14:40:21 52

原创 Seq2Seq详解

文章目录10. Seq2Seq10.1 Baseline Seq2Seq 架构10.1.1 技术架构10.1.1.1 第一步:Tokenization & Build Dictionary10.1.1.2 第二步:Word Emebedding10.1.1.3 第三步:Training Seq2Seq Model10.1.1.4 第四步:Inference Using the Seq2Seq Model10.1.2 模型优缺点10.1.3 优化10.1.3.1 Encoder 变成 双向10.1.3

2020-10-14 14:34:30 107

原创 Python 高级编程之百问

Python 高级编程之百问1. 如何在列表、字典、集合中根据条件筛选数据?2. 如何为元组中每个元素命名,提高程序可读性?3. 如何根据字典中值的大小,对字典中的项排序?4. 如何统计序列中元素的出现频度?5. 如何让字典保持有序?6. 如何快速找到多个字典中的公共键?7. 如何实现用户的历史记录功能(最多N条)?8. 如何进行反向迭代以及如何实现反向迭代?9. 如何对迭代器做切片操作?10. ...

2020-02-01 18:02:35 214

原创 Java 学习笔记

Java 学习笔记1. Java 基础1.1 流程控制1.1.1. Switch1.2 控制循环结构1.2.1 break1.2.2 continue1.3 Arrays1.3.1 几个常用的static方法1.3.2 并行方法1.4 面向对象(上)1.4.1 类1.4.2 成员变量1.4.3 方法1.4.3.1 定义方法1.4.3.2 方法的重载1.4.3.3 参数可变的方法1.4.4 构造器1...

2019-08-04 23:46:52 299

原创 Algorithm Foundation 之 排序

Algorithm Foundation 之 排序1. Sort1.1 Insertion Sort1.1.1 Direct Insertion Sort 直接插入排序1.1.2 Shell Sort1.2 Selection Sort1.2.1 Simple Selection Sort1.2.2 Heap Sort 堆排序1.2.2.1 应用 (重点)1.3 交换排序1.3.1 冒泡排序1.3...

2019-05-21 14:59:23 328

原创 Java 高级编程之避坑指南

Java 高级编程之避坑指南1. 不要使用 SimpleDateFormat1.1 常见的错误使用方式1.2 解决方案 11.3 解决方案 21. 不要使用 SimpleDateFormat1.1 常见的错误使用方式一般我们使用SimpleDateFormat的时候会把它定义为一个静态变量,避免频繁创建它的对象实例,如下代码:单线程场景使用时没有问题,多线程场景下使用时会报错:java....

2019-05-14 17:07:47 3039 3

原创 Kali linux 安装避坑指南

Kali linux 安装避坑指南1. 问题一:An installation step failed. You can try to run the failing item again from the menu, or skip it and choose something else. The failing step is Install the system2. the grub-pc...

2019-05-12 22:34:17 2764

原创 Mac 安装 FFmpeg

Mac 安装 FFmpeg1. FFmpeg 简介2. 安装3. 使用4. 优缺点References1. FFmpeg 简介FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。[1]2. 安装1) 安装 homebrew2) brew install ffmpeg3. 使用通过查看源码等拿到视频路径地址命令:ffmpeg -i 完整路...

2019-04-22 16:19:17 209

原创 安装 OpenCC 简繁体中文转换

安装 OpenCC 简繁体中文转换1. 下载2. 安装3. 测试1. 下载https://github.com/BYVoid/OpenCC2. 安装tar -zxvf opencc-1.0.4.tar.gzsudo apt-get install cmakesudo apt-get install doxygencd opencc-1.0.4makesudo make ...

2019-02-06 15:54:24 639

原创 Django 高级编程之 Hello World

Django 高级编程之 Hello World1. 创建项目2. 创建 app3. 安装 MySQL 驱动4. 生成数据表1. 创建项目2. 创建 appTools -> Run manage.py Task -> 输入 startapp message,message为 app名在项目上新建四个目录,apps, log, media, static将 Message...

2019-01-22 01:45:51 156

原创 Scala 高级编程之基础知识

Scala 高级编程之基础知识1. Scala 基本数据类型2. 定义变量2.1 val 与 var2.2 lazy 关键字3. IDEA 整合 Maven 构建 Scala 应用程序4. 函数4.1 函数定义4.1.1 最后一行就是返回值4.1.2 当返回值类型确定时,可以不用写返回值4.1.3 没有返回值时的简写4.2 默认参数值4.3 不按序传参4.4 可变参数4.5 条件表达式4.6 循环...

2018-12-31 00:39:15 240

原创 Python 高级编程之 asyncio并发编程

Python 高级编程之 asyncio并发编程1. asyncio 简介1.1 协程与 asyncio1.2 例子1. asyncio 简介1.1 协程与 asyncio协程编写的三个组成部分:1. 事件循环, 2. 回调(驱动生成器), 3. epoll(IO 多路复用)asyncio是python用于解决异步io编程的一整套解决方案。基于 asyncio 的框架有: tornad...

2018-12-22 19:08:42 1136

原创 Python 高级编程之协程和异步 IO

Python 高级编程之协程和异步 IO1. 并发、并行、同步、异步、阻塞、非阻塞1. 并发、并行、同步、异步、阻塞、非阻塞并发:一个时间段内,有几个程序在同一个 CPU 上运行,但是任意时刻只有一个程序在 CPU 上运行。并行:在任意时刻点上,有多个程序同时运行在**多个 CPU **上。如果 CPU 有个四颗,那么并行最多只有四个。基于以上,我们都说高并发,不说高并行。同步:指代码...

2018-12-19 21:58:57 978 2

原创 自然语言处理概述 --Updating

自然语言处理概述1. 自然语言处理包含的任务1. 自然语言处理包含的任务

2018-12-14 00:59:35 526

原创 数据结构之堆

堆1. 堆数据结构的实现1. 堆数据结构的实现public class Heap { private Node[] heapArray; private int maxSize; private int currentSize; public Heap(int mx) { maxSize = mx; currentSize = 0; hea...

2018-12-13 01:00:49 67

原创 LaTeX 教程

LaTeX 教程1. 管理论文中的引用1. 管理论文中的引用https://www.youtube.com/watch?v=-UVp9ItOc4A

2018-12-06 13:34:48 2857

原创 操作系统基础知识

操作系统基础知识1. 进程的基本状态:运行、就绪、阻塞1.1 引起状态转化的事件通常有:2. 进程的调度方法有两类:抢占式、非抢占式3. 在所有调度算法中,短作业优先调度算法的平均等待时间最短;4. 临界资源:同时只能一个进程使用的资源称为临界资源;5. 访问临界资源应遵循的准则6. 互斥:同类进程需要互斥使用资源;7. 信号量的物理意义:8. 任何一个进程在进入临界区之前应调用P操作,退出临界区...

2018-11-25 22:42:33 145

原创 开发环境配置

开发环境配置1. 系统配置1.1 Mac OS1.1.1 常用工具2. 开发工具设置2.1 Intellij IDEA2.1.1 八个常用配置1. 系统配置1.1 Mac OS1.1.1 常用工具homebrewAlfredScroll Reverser: 用于鼠标滚轮反向2. 开发工具设置2.1 Intellij IDEA2.1.1 八个常用配置https://mp.w...

2018-11-23 16:57:50 93

原创 Python 高级编程之多线程、多进程和线程池编程

多线程、多进程和线程池编程1. GIL2. 多线程编程2.1 通过Thread类实例化2.2 通过继承Thread来实现多线程1. GILGIL 全称:global interpreter lock 这是一个基于 C 语言的模块。python中一个线程对应于c语言中的一个线程。GIL 使得同一个时刻只有一个线程在一个cpu上执行字节码, 无法将多个线程映射到多个cpu上执行# 使用 di...

2018-11-12 12:54:00 560

原创 Python高级编程之 Socket 编程

Socket 编程1. Socket 编程简介2. 基于 Socket 的简单聊天程序2.1 服务器端2.2 客户端3. 使用 Socket 模拟 Http 请求1. Socket 编程简介注意,**Socket 编程与 Http 请求不同,Socket 编程当连接完成后,就可以一直给另一方发送数据,只要连接没有断开,就可以一直发送数据。而 Http 请求是连接、发送数据、断开。每次发送数...

2018-11-10 15:11:49 406

原创 Python 高级编程 -- 迭代器和生成器

Python 高级编程之迭代器和生成器1. 迭代器 Iterator 和可迭代的 Iterable2. 迭代器2.1 第一个例子2.2 自定义迭代器3. 生成器3.1 一个例子3.2 读取只有单行的大文件1. 迭代器 Iterator 和可迭代的 Iterable迭代器是访问集合内元素的一种方式, 一般用来遍历数据。迭代器和以下标的访问方式不一样, 迭代器是不能返回的, 迭代器提供了一种惰性...

2018-11-09 22:59:47 274

原创 Python 高级编程之元类和装饰器

1. property 动态属性使用 property 注解,可以将某个方法装饰属性描述符,将取函数变成取属性的方式。那么,什么时候会用到呢? 以下面的代码为例,假设项目早期的版本代码中有 age 这个属性,随着项目的迭代,age 这个属性后期被移除了,添加了新的计算逻辑,那么之前的代码中通过 self.age 这种方式都需要被修改。此时,通过 property 注解,就可以将新写的 age ...

2018-11-06 20:32:26 216

原创 Python 对象引用、可变性和垃圾回收

1. == 和 is 的区别== 判断符是调用类的 eq 方法,is 是调用 id() 判断 id 是否相等。a = [1,2,3,4]b = [1,2,3,4]class People: passperson = People()# 也可以用 isinstanceif type(person) is People: print ("yes")# True...

2018-11-06 00:24:51 100

原创 Python 序列类型

序列类型主要可分为以下几个类别:容器序列:list、tuple、deque扁平序列:str、bytes、bytearray、array.array可变序列:list, deque,bytearray、array不可变序列:str、tuple、bytes1. bisect 模块bisect 模块常常用来维护一个已排序的升序序列。import bisectfrom coll...

2018-11-05 21:15:35 1816

原创 Python 面向对象基础

类1.1 实例属性和类属性实例属性通过 self 关键字定义,类属性没有 self 修饰,直接写在类中。**类属性一定要通过类名调用,不要使用对象名调用。**例子如下:class A: aa = 1 def __init__(self, x, y): self.x = x self.y = ya = A(2,3)A.aa = 11...

2018-11-04 22:12:51 126

原创 Python 中 class method 与 static method 的区别与联系

Python 中 class method 与 static method 的区别很多编程语言中是没有 class method 而言的,比如 Java,但是 Python 语言中却提供了两种看似相同又不同的关键字。这里我们不扣字眼,比如说 class method 与 static method 的区别有方法前面的 @ 符号不同,我们仅给出最为核心的不同点。相同点class met...

2018-11-04 20:03:32 617

翻译 CSDN-markdown编辑器

CSDN-markdown编辑器Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Mark...

2018-11-04 19:31:49 67

原创 深度神经网络

1 深度神经网络 深度学习具有两个重要的性质:非线性和多层变换。1.1 非线性操作 —— 激活函数1.1.1 线性模型 线性模型可以表示为: y=∑(wi⋅xi+bi)(1)(1)y=∑(wi⋅xi+bi)\begin{align}y = \sum \left( w_i \cdot x_i + b_i \right)\end{align} ...

2018-09-01 22:56:33 558

原创 TensorFlow 基础

1 TensorFlow 基础 TensorFlow 是单词 Tensor 和 Flow 的合成。Tensor 是张量,可以认为是多维数组。一个数字叫做标量(Scalar),一维数组叫做向量(Vector),二维及以上数组叫做矩阵(Matrix),Tensor 可认为是她们的统称。Flow 是流,表示张量之间的计算转化过程,一个节点通过运算流入另一个节点。1.1 计算图1...

2018-09-01 22:41:55 94

原创 TensorFlow 环境搭建

1 TensorFlow 环境搭建TensorFlow 依赖的两个最主要的工具包 —— Protocol Buffer 和 Bazel。1.1 Protocol Buffer Protocol Buffer 是谷歌开发的处理结构化数据的工具。如何将结构化的数据序列化,并从序列化之后的数据流中还原出原来的机构化数据,这就是 Protocol Buffer 解决的主要问题。...

2018-09-01 22:33:30 117

原创 数据挖掘 FP-tree 算法

学习笔记之数据挖掘 FP-tree 算法 FP-tree 算法和 Apriori 算法都被用作关联规则挖掘。 FP-tree 算法只进行 2 次数据库扫描。相比于 Apriori 算法,她没有候选集,直接压缩数据库成一个频繁模式树,通过这棵树生成关联规则。两个主要步骤: 1. 利用事务数据库中的数据构造 FP-tree; 2. 从 FP-tree 中挖掘频繁模式。步...

2018-05-15 19:31:05 7292

原创 数据挖掘 Apriori 算法

学习笔记之数据挖掘 Apriori 算法步骤 通过迭代,检索出事务数据库中的所有频繁项集,即支持度不低于用户设定的阈值的项集;利用频繁项集构造出满足用户最小信任度的规则;挖掘或识别出所有频繁项集是该算法的核心,占整个计算量的大部分。连接步:为找 LkLkL_k 通过将 Lk−1Lk−1L_{k-1} 与自身连接产生候选 k 项集的集合。LkLkL_k 表示 k 项集。剪枝...

2018-05-15 15:08:37 533

原创 TensorFlow 学习笔记 - 避坑指南 Updating

TensorFlow 学习笔记 - 避坑指南 TensorFlow 实现过程中会遇到各种坑,本篇记录遇到的一些坑,笔记以指南。TensorFlow 实现 Deep NN# 建议使用如下方式,这是 TensorFlow 官方建议的方式:https://www.tensorflow.org/tutorials/recurrentdef lstm_cell(): return...

2018-05-09 19:11:44 392

原创 使用 LSTM 计算语言模型的复杂度

使用 LSTM 计算语言模型的复杂度获取数据wget http://www.fit.vutbr.cz/~imikolov/rnnlm/simple-examples.tgz源代码import numpy as npimport tensorflow as tfimport readerimport osos.environ['CUDA_VISIBLE_DEVI...

2018-05-07 19:39:44 3207

原创 TensorFlow 学习笔记 - MNIST 数字识别

本例子很好的定义了一个经典的 TensorFlow 学习示例 读者可以好好体悟其中的流程与经典做法,建议熟练掌握。该网络是一个三层的全连接神经网络,定义了基本的 NN 学习流程。mnist_inference.pyimport tensorflow as tfINPUT_NODE = 784OUTPUT_NODE = 10LAYER1_NODE = 500d...

2018-05-07 15:37:11 143

原创 TensorFlow 学习笔记 - Session

TensorFlow 学习笔记 - Session Session 拥有并管理 TensorFlow 程序运行时的所有资源。通常,会结合 with 语句使用,在计算完成之后,自动释放系统资源,除非手动关闭。 - 使用tf.Session.run() 获取计算结果:tf.Session.run(result)""" 手动关闭 session """sess = tf.Sess...

2018-05-06 16:12:54 529

原创 TensorFlow 学习笔记 - 几种 LSTM 对比

TensorFlow 学习笔记 - 几种 LSTM 对比tf.nn.rnn_cell.BasicLSTMCelltf.nn.static_rnn tf.nn.static_rnntf.nn.dynamic_rnntf.contrib.cudnn_rnntf.contrib.rnn.LSTMBlockCelltf.contrib.rnn.LSTMBlockFusedCelltf....

2018-05-04 19:26:18 7799

原创 LR 和 SVM 的区别与联系

LR 和 SVM 的区别与联系联系都是分类算法 在很大一部分人眼里,LR是回归算法。我是非常不赞同这一点的,因为我认为判断一个算法是分类还是回归算法的唯一标准就是样本label的类型,如果label是离散的,就是分类算法,如果label是连续的,就是回归算法。很明显,LR的训练数据的label是“0或者1”,当然是分类算法。其实这样不重要啦,暂且迁就我认为他是分类算法吧,再说...

2018-04-27 12:05:35 3583

原创 LeetCode 刷题之 Add Two Numbers

LeetCode 刷题之 Add Two Numbers/** * @Time : 20/03/2018 09:54 * @Author : lotus * @File : AddTwoNumbers.java * @Software: IntelliJ IDEA * @Desc : * @license : Copyright(C), Alex * @Contact : ale...

2018-03-20 11:34:06 122

1998年1月-6月人民日报标注语料

包含人民日报1998年1月-6月标注语料,适用于自然语言处理领域的序列标注任务,如命名实体识别、词性标注等。人民日报1998年标注预料是人工标注,比2014年标注语料准确率高。

2018-04-23

统计自然语言处理第二版

统计自然语言处理第二版,完整版。宗成庆主编,非常好的NLP学习资料。

2017-10-13

1998年人民日报POS标注语料

1998年人民日报词性标注语料,可用来进行分词,词性标注,命名实体识别工作。

2017-10-13

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除