自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

韩明宇

494500041@qq.com

原创 CS224N刷题——Assignment3.1_A window into NER

Assignment #3 A primer on named entity recognition 这一节作业我们会建立几种不同的模型来实现命名实体识别(NER)。NER是信息抽取的一个子任务,旨在将文本中的命名实体定位并分类为预先定义的类别,如人名、组织、地点、时间表达式、数量、货币值、百...

2019-08-19 20:54:20

阅读数 68

评论数 0

原创 CS224N笔记——神经机器翻译与Attention机制

目录 神经机器翻译NMT 神经机器翻译的架构 神经机器翻译的青铜时代 现代神经机器翻译的序列模型 RNN Encoder Decoder:循环语言模型 机器翻译的发展 神经机器翻译的四大优势 统计/神经机器翻译 神经机器翻译主要由工业界促进 Attention:朴素RNN&a...

2019-08-19 20:54:01

阅读数 90

评论数 0

原创 CS224N笔记——机器翻译和GRU以及LSTM

目录 复习 使用RNN的机器翻译 GRU LSTM 复习 Word2Vec: Glove: Nnet&Max-margin:, Multilayer Nnet&Backprop:, RNN:, Cross Entropy: Mini-batch SGD...

2019-08-19 20:53:57

阅读数 37

评论数 0

原创 CS224N笔记——RNN和语言模型

目录 传统语言模型 循环神经网络语言模型 损失函数 训练RNN时的困难 梯度消失问题 梯度消失实例 防止梯度爆炸 减缓梯度消失 困惑度结果 问题:softmax太大且太慢 一个实现技巧 序列模型的应用 双向和深层RNNs 双向RNNs 深层双向RNNs 评测 ...

2019-08-19 20:53:51

阅读数 42

评论数 0

原创 论文笔记《BERT》

论文题目:BERT-Bidirectional Encoder Representations from Transformers Masked Language Model(MLM) 随机掩码语言模型: 给定一个输入序列:[CLS] The dog jumped over the lo...

2019-07-18 20:13:53

阅读数 83

评论数 0

原创 论文笔记《Attention Is All You Need》

论文模型:Transformer 目录 Transformer之前的经典算法模型 1.循环神经网络 2.带有注意力机制的循环神经网络 3.注意力权重函数 4.卷积神经网络 自注意力机制 自注意力函数 编码自注意力 解码自注意力 自注意力机制与注意力机制的区别 并行的注意...

2019-07-17 21:52:11

阅读数 32

评论数 0

原创 LeetCode每周刷题(2019.7.8-2019.7.14)

409. 最长回文串 利用哈希表(python字典)统计每个字母的频次,如果是偶数可以全部加入最长回文串,如果是奇数频次减一加入最长回文串,如果有奇数的字母加入,则可以放在回文串中心,最终长度加一。 class Solution(object): def longestPalin...

2019-07-15 21:39:46

阅读数 29

评论数 0

原创 deeplearning.ai——字符级语言模型-恐龙岛

数据集包含了所有恐龙的名字,构建一个字符级语言模型来创建新的恐龙名称,算法能够学习不同的名称模式,并随机生成新的名称。 完成这项作业能够学到: 如何存储文本数据以便使用RNN进行处理 如何合成数据,通过在每个时间步采样预测值并将其传递给下一个RNN单元 如何构建一个字符级文本生成循环神经网...

2019-07-15 17:07:29

阅读数 65

评论数 0

原创 deeplearning.ai——构建循环神经网络

目录 1 - Forward propagation for the basic Recurrent Neural Network 1.1 - RNN cell 1.2 - RNN forward pass 2 - Long Short-Term Memory (LSTM) network...

2019-07-15 14:21:46

阅读数 35

评论数 0

转载 爬虫之Re库入门

学习地址:https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/ 正则表达式 正则表达式的常用操作符 匹配IP地址的正则表达式 IP地址分四段,每段0-255 Re库的基本使用 正则表...

2019-07-04 19:28:57

阅读数 31

评论数 0

原创 LeetCode每周刷题(2019.7.1-2019.7.7)

69. x 的平方根 利用二分法,如果中值平方大于x则在左边寻找,如果中值+1的平方小于等于x则在右边寻找,如果中值平方小于等于x且中值+1的平方大于x,则该中值就是返回的整数平方根。 class Solution(object): def mySqrt(self, x): ...

2019-07-04 14:55:11

阅读数 24

评论数 0

转载 爬虫之Beautiful Soup库入门

学习地址:https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/ Beatiful Soup库官网:https://www.crummy.com/software/BeatifulSoup Beatiful So...

2019-07-03 14:58:20

阅读数 53

评论数 0

原创 LeetCode每周刷题(2019.6.24-2019.6.30)

167. 两数之和 II - 输入有序数组 由于数组已经按照升序排列,利用双指针,i指针指向数组头,j指针指向数组尾,如果两数之和大于目标数则j前移,如果两数之和小鱼目标数则i后移,直到找到两个值。 class Solution(object): def twoSum(self,...

2019-06-30 14:20:32

阅读数 25

评论数 0

转载 爬虫之Requests库入门

学习地址:https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/ Requests库的七个主要方法 requests.get()方法 r=requests.get(url,params=None,**k...

2019-06-29 23:41:48

阅读数 32

评论数 0

原创 深度之眼-科赛网二分类大赛入门之路

比赛简介 比赛网址:https://www.kesci.com/home/competition/5c234c6626ba91002bfdfdd3/content 比赛题目:「二分类算法」提供银行精准营销解决方案 赛题描述: 数据: 训练集: 测试集(没有标签y): 字...

2019-06-29 17:57:15

阅读数 372

评论数 0

原创 权力的游戏击杀和家族知识图谱(python+neo4j)

一、任务描述 数据集是github上某大神整理出来的全八季任务信息,包括姓名、家族、杀了谁、被谁杀了等等。本文做的知识图谱仅包含所有人物及其被杀关系和家族关系。 数据集链接:https://github.com/jeffreylancaster/game-of-thrones/blob/mas...

2019-06-21 22:31:46

阅读数 379

评论数 0

转载 TensorFlow共享变量

你可以在怎么使用变量中所描述的方式来创建,初始化,保存及加载单一的变量.但是当创建复杂的模块时,通常你需要共享大量变量集并且如果你还想在同一个地方初始化这所有的变量,我们又该怎么做呢.本教程就是演示如何使用tf.variable_scope()和tf.get_variable()两个方法来实现这一...

2019-06-20 20:51:00

阅读数 10

评论数 0

转载 TensorFlow变量:创建、初始化、保存和加载

当训练模型时,用变量来存储和更新参数。变量包含张量 (Tensor)存放于内存的缓存区。建模时它们需要被明确地初始化,模型训练后它们必须被存储到磁盘。这些变量的值可在之后模型训练和分析是被加载。 本文档描述以下两个TensorFlow类: tf.Variable类 tf.train.Save...

2019-06-20 18:06:57

阅读数 26

评论数 0

原创 达观杯文本分类——基于N-gram和LogisticRegression

任务与数据 建立模型通过长文本数据正文(article),预测文本对应的类别(class)。 数据包含2个csv文件: train_set.csv:此数据集用于训练模型,每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列: 第一列是文章的索引(id),第二列是文章正...

2019-06-20 10:32:49

阅读数 358

评论数 0

原创 论文笔记《Neural Machine Translation by Jointly Learning to Align and Translate》

中文题名:基于联合学习对齐和翻译的神经机器翻译 目录 摘要 背景:神经机器翻译 任务定义 编码器-解码器框架(基线) 编码器(基线) 解码器(基线) 模型效果 存在的问题 学习对齐和翻译 RNNenc vs RNNsearch RNNsearch的编码器 RNNsearc...

2019-06-20 00:11:26

阅读数 101

评论数 0

原创 信息熵、互信息、KL散度

信息熵 自信息量 设离散信源X的概率空间为: , 称事件发生所含有的信息量为的自信息量: 信息熵 自信息的数学期望为平均自信息量,称为信息熵: 当r=2时: 信息熵的单位由自信息量的单位决定,即取决于对数的底。 交叉熵 假设一个样本集中两个概率分布p,q,其中p为真实...

2019-06-17 16:46:04

阅读数 290

评论数 0

原创 最大后验估计与共轭分布

最大后验分布 先验信息 先验信息是指获得样本的试验之前,获得的经验和历史资料。 先验分布 将总体中的未知参数看成一个取值于的随机变量,它有一概率分布,记为,称为参数的先验分布。 后验概率 在贝叶斯统计学中,把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的...

2019-06-17 15:47:24

阅读数 21

评论数 0

原创 CS224N刷题——Assignment3.2_Recurrent neural nets for NER

Assignment #3 2. Recurrent neural nets for NER 每一个RNN单元利用一个sigmoid将隐藏状态向量和输入结合起来,然后在每一个时间步利用隐藏状态来预测输出: 其中是词向量,是RNN单元的参数,是softmax的参数。和之前一样,V是单词...

2019-06-17 14:48:40

阅读数 45

评论数 2

原创 deeplearning.ai——TensorFlow指南

1 - Exploring the Tensorflow Library 导入库: import math import numpy as np import h5py import matplotlib.pyplot as plt import tensorflow as tf from ...

2019-06-07 19:30:38

阅读数 187

评论数 0

原创 深度学习中的优化方法

目录 1.梯度下降 2.随机梯度下降 3.Mini-batch梯度下降 4.Momentum 5.Adam 1.梯度下降 即每一步在所有m个样本上更新一次梯度,也称作批量梯度下降(Batch Gradient Descent)。 对于: 其中,L是神经网络的层数,是学习率。 ...

2019-06-03 18:01:09

阅读数 160

评论数 0

原创 主成分分析

协方差 1.协方差 期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y): 2.协方差矩阵 设为n维随机变量,称矩阵: 为n维随机变量X的协方差矩阵,其中为X的分量和的协方差。 意义 在力求数据信息丢失最少的原则下,对高维的变量空间降维,即...

2019-06-03 15:20:59

阅读数 50

评论数 0

原创 矩阵求导与Hessian矩阵

标量关于标量的导数 向量关于标量的导数 设向量和标量x, 则 矩阵关于标量的导数 设M×N矩阵和标量x, 则 标量关于向量的导数 设标量y和向量, 则 向量关于向量的导数 设向量和向量, 则,即Jacobian矩阵。 ...

2019-05-31 19:18:38

阅读数 800

评论数 0

原创 CS224N笔记——深入GRU和LSTM

目录 深入GRU Update Gate Reset Gate tanh-RNN与GRU的对比 GRU与LSTM的对比 深入LSTM 训练一个RNN Ensemble 深入GRU RNN的梯度消失:损失在反向传播中必须经过所有中间节点。 GRU额外添加了一些“捷...

2019-05-31 16:18:30

阅读数 42

评论数 0

转载 CS224N笔记——依存句法分析

语言学的两种观点 如何描述语法,有两种主流观点,其中一种是短语结构文法(上下文无关文法),英文术语是:Constituency = phrase structure grammar = context-free grammars (CFGs)。 这种短语语法用固定数量的rule分解句子为短语...

2019-05-29 19:34:42

阅读数 119

评论数 0

原创 deeplearning.ai——构建深度神经网络做图像处理

目录 4.1 Building your Deep Neural Network: Step by Step 1 - Packages 2 - Outline of the Assignment 3 - Initialization 3.1 - 2-layer Neural Networ...

2019-05-25 21:07:02

阅读数 113

评论数 0

原创 CS224N刷题——Assignment2.3_RNN:Language Modeling

Assignment #2 3.Recurrent Neural Networks: Language Modeling 在这一节中,计算RNN语言模型的梯度。 语言模型是NLP中的一个核心任务,语言模型也存在于语音识别、机器翻译等许多其他系统的核心部分。给定一个单词(表示为一个one-ho...

2019-05-24 21:57:06

阅读数 22

评论数 0

原创 word2vec训练与相似度计算

中文语料预处理 采用维基百科里的中文网页作为训练语料库,下载地址为:https://dumps.wikipedia.org/zhwiki/20190301/zhwiki-20190301-pages-articles.xml.bz2 维基百科提供的语料是xml格式的,因此需要将其转换为txt...

2019-05-18 13:50:22

阅读数 404

评论数 0

原创 《统计学习方法》——逻辑斯蒂回归

逻辑斯蒂回归模型 定义6.1(逻辑斯蒂分布):设X是连续随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数: 式中,为位置参数,为形状参数。 二项逻辑斯蒂回归模型 定义6.2(逻辑斯蒂回归模型):二项逻辑斯蒂回归模型是如下的条件概率分布: 有时为了方便,...

2019-05-17 21:22:02

阅读数 105

评论数 0

原创 《统计学习方法》——决策树

决策树模型与学习 定义5.1(决策树):分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内部结点和叶结点。内部结点表示一个特征或属性,叶结点表示一个类。 用决策树分类,从根结点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到其子结点;这时...

2019-05-17 14:00:01

阅读数 61

评论数 0

原创 deeplearning.ai——通过单隐藏层的神经网络实现平面数据分类

Planar data classification with one hidden layer 目录 Planar data classification with one hidden layer 1 - Packages 2 - Dataset 3 - Simple Logisti...

2019-05-16 18:10:38

阅读数 41

评论数 0

原创 CS224N刷题——Assignment2.1_Tensorflow&Softmax

Assignment #2 在这节作业中,神经网络的输入会是行向量,因为这对于TensorFlow来说是标准操作(有些内置TensorFlow函数假定输入是行向量),这意味着隐藏层的权重矩阵会右乘输入而不是左乘。 1.Tensorflow Softmax 实现一个线性分类器,损失函数定义为:...

2019-05-16 11:54:19

阅读数 23

评论数 0

原创 CS224N笔记——TensorFlow入门

目录 深度学习框架简介 TensorFlow是什么 图计算编程模型 图在哪里 如何运行 如何定义损失 如何计算梯度 变量共享 总结 深度学习框架简介 为什么要用成熟的框架,而不是从头写一个: 这些框架提供了大规模机器学习算法的成熟实现 方便地计算梯度 ...

2019-05-15 21:02:03

阅读数 18

评论数 0

原创 CS224N刷题——Assignment1.4_情感分析

Assignment #1 4.Sentiment Analysis 现在,通过你训练的词向量,我们将进行一个简单的情感分析。对于斯坦福情感树库数据集中的每个句子,我们将使用该句子中所有词向量的平均值作为其特征,并尝试预测所述句子的情感等级。这些短语的情感等级在原始数据集中以实际值表示,这里我...

2019-05-15 11:24:32

阅读数 212

评论数 0

原创 deeplearning.ai——构建一个LR分类器来识别猫

Logistic Regression with a Neural Network mindset 目录 1 - Packages 2 - Overview of the Problem set 3 - General Architecture of the learning algori...

2019-05-14 21:59:30

阅读数 82

评论数 0

原创 CS224N笔记——反向传播

目录 两层神经网络的反向传播 电路图解释 流动图解释 实际神经网络中的误差信号 两层神经网络的反向传播 将输出s展开: 对求偏导: 矩阵形式: 其中, 对求偏导: 其中, 综上,任意层的通用公式为: 电路图解释 反向传...

2019-05-14 15:44:52

阅读数 33

评论数 0

提示
确定要删除当前文章?
取消 删除