- 博客(148)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 LSTM与BI-LSTM
文章目录从RNN到LSTMLSTM模型结构剖析LSTM之遗忘门LSTM之输入门LSTM之细胞状态更新LSTM之输出门LSTM前向传播算法LSTM反向传播算法推导关键点从RNN到LSTM在RNN模型里，我们讲到了RNN具有如下的结构，每个序列索引位置t都有一个隐藏状态h(t)。 如果我们略去每层都有的o(t),L(t),y(t)o^{(t)}, L^{(t)}, y^{(t)}o(t),...
2019-08-21 10:16:58
23954
2
原创 RNN(循环神经网络)
文章目录RNN概述RNN模型RNN前向传播算法RNN反向传播算法推导RNN小结DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自然语言处理中的语音识别，手写书别以及机器翻译等领域。RNN概述在...
2019-08-20 15:00:39
787
原创 DNN
文章目录前向传播从感知机到神经网络DNN的基本结构DNN前向传播算法数学原理DNN前向传播算法反向传播算法(BP)DNN反向传播算法要解决的问题DNN反向传播算法的基本思路DNN反向传播算法过程损失函数和激活函数的选择均方差损失函数+Sigmoid激活函数的问题使用交叉熵损失函数+Sigmoid激活函数改进DNN算法收敛速度使用对数似然损失函数和softmax激活函数进行DNN分类输出前向传播...
2019-08-19 16:55:11
3618
2
原创 LSA、PSLA、LDA和lda2vec进行主题建模
文章目录概述LSA代码实现PLSA在自然语言理解任务中，我们可以通过一系列的层次来提取含义——从单词、句子、段落，再到文档。在文档层面，理解文本最有效的方式之一就是分析其主题。在文档集合中学习、识别和提取这些主题的过程被称为主题建模。概述所有主题模型都基于相同的基本假设：每个文档包含多个主题；每个主题包含多个单词。换句话说，主题模型围绕着以下观点构建：实际上，文档的语义由一些我们所...
2019-08-18 21:10:30
512
原创 条件随机场
文章目录概率无向图模型模型定义概率无向图模型:概率无向图模型的因子分解条件随机场的模型表示linear-chain 条件随机场CRF 的定义CRF 的参数化形式CRF 的简化形式条件随机场的矩阵形式条件随机场的概率计算问题前向-后向算法概率计算期望值的计算条件随机场的训练L-BFGS算法条件随机场的预测算法条件随机场（conditional random field，以下简称CRF） 是给定一组...
2019-08-03 09:47:37
379
原创 十大排序算法（python）
文章目录十大排序算法排序算法介绍非线性时间比较类排序：线性时间非比较类排序：相关概念交换排序1冒泡排序（Bubble Sort）2 快速排序(Quick Sort)插入排序3 简单插入排序(Insert Sort)4希尔排序(Shell Sort)选择排序5.简单选择排序(Select Sort)十大排序算法排序算法介绍非线性时间比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度...
2019-07-25 16:14:37
293
原创 卷积神经网络
文章目录卷积神经网络卷积层卷积参数共享原则池化层卷积神经网络的组成卷积神经网络卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。对比：卷积神经网络、全连接神经网络左图...
2019-07-23 08:05:25
290
原创 常用的查找算法(python)
文章目录基本概念无序表查找有序表查找线性索引查找稠密索引分块索引倒排索引五、二叉排序树平衡二叉树散列表（哈希表）散列函数的构造方法处理散列冲突散列表查找性能分析基本概念查找（Searching）就是根据给定的某个值，在查找表中确定一个其关键字等于给定值的数据元素（或记录）。查找表（Search Table）：由同一类型的数据元素（或记录）构成的集合关键字（Key）：数据元素中某个数据项的值...
2019-07-22 16:34:40
198
原创 Attention is all you need(Transform)
文章目录从宏观看Transformer将张量引入图景现在我们开始“编码”从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制“大战多头怪”使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结损失函数从宏观看Transformer首先将这个模型当成一个黑箱操作。在机器翻译中，就是输入一种语言，输出另一种...
2019-07-21 21:32:09
444
原创 pytorch-1
文章目录TensorTensorimport torch#生成一个矩阵a=torch.Tensor([[1,2],[3,4],[5,6],[7,8]])print(a)print('{}'.format(a))print('{}'.format(a.size()))#生成一个全为0的矩阵b=torch.zeros((4,2))print(b)#生成不同类型的矩阵c=torc...
2019-07-19 19:54:32
249
原创 隐马尔科夫模型HMM（四）维特比算法解码隐藏状态序列
HMM最可能隐藏状态序列求解概述在HMM模型的解码问题中，给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT}O =\{o_1,o_2,...o_T\}O={o1,o2,...oT}，求给定观测序列O条件下，最可能出现的对应的状态序列I∗={i1∗,i2∗,...iT∗}I^*= \{i_1^*,i_2^*,...i_T^*\}I∗={i1∗,i2∗,...iT∗},即...
2019-07-11 22:39:30
649
转载 隐马尔科夫模型HMM（三）鲍姆-韦尔奇算法求解HMM参数
文章目录HMM模型参数求解概述鲍姆-韦尔奇算法的推导鲍姆-韦尔奇算法流程总结HMM模型参数求解概述HMM模型参数求解根据已知的条件可以分为两种情况。第一种情况较为简单，就是我们已知D个长度为T的观测序列和对应的隐藏状态序列，即{(O1,I1),(O2,I2),...(OD,ID)}\{(O_1, I_1), (O_2, I_2), ...(O_D, I_D)\}{(O1,I1),(O2...
2019-07-11 22:11:00
557
原创 图：定义与存储
文章目录图的定义与基本术语图Graph的定义ADT图的存储结构图的定义与基本术语图Graph的定义图是一种网状数据结构，形式化定义如下：集合DataObject中的所有元素具有相同的特性，V中数据元素常称为顶点(vertex)，VR是两个顶点之间关系的集合，P(x,y)表示x和y之间有特定的关联属性P。若<x,y>∈R <x,y>，则 <x,y>表示...
2019-07-11 20:53:10
147
原创 隐马尔科夫模型HMM（二）前向后向算法评估观察序列概率
文章目录HMM问题一：求观测序列的概率暴力求解用前向算法求HMM观测序列的概率前向算法。HMM前向算法求解实例HMM问题一：求观测序列的概率首先我们回顾下HMM模型的问题一。这个问题是这样的。我们已知HMM模型的参数λ=(A,B,Π)\lambda = (A, B, \Pi)λ=(A,B,Π)。其中A是隐藏状态转移概率的矩阵，B是观测状态生成概率的矩阵， Π是隐藏状态的初始概率分布。同时我们也...
2019-07-10 23:30:10
353
原创 隐马尔科夫模型HMM（一）HMM模型
什么样的问题需要HMM模型首先我们来看看什么样的问题解决可以用HMM模型。使用HMM模型时我们的问题一般有这两个特征：１）我们的问题是基于序列的，比如时间序列，或者状态序列。２）我们的问题中有两类数据，一类序列数据是可以观测到的，即观测序列；而另一类数据是不能观察到的，即隐藏状态序列，简称状态序列。有了这两个特征，那么这个问题一般可以用HMM模型来尝试解决。这样的问题在实际生活中是很多的。比如...
2019-07-10 22:21:11
474
原创 判别式与生成式模型
有监督学习回归模型中，我们利用训练集直接对条件概率p(y|x;θ)建模，例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoid函数）。假设现在有一个分类问题，要根据一些动物的特征来区分大象(y = 1)和狗(y = 0)。给定这样的一种数据集，回归模型比如logistic回归会试图找到一条直线也就是决策边界，来区分大象与狗这两类，然后对于新...
2019-07-10 21:48:19
191
转载 概率图模型
文章目录概率图有向图 vs. 无向图有向图条件局部独立性无向图概率图在概率图模型中，数据(样本)由公式 G=(V,E) 建模表示：V 表示节点，即随机变量（放在此处的，可以是一个token或者一个label），具体地，用 为随机变量建模，注意 Y 现在是代表了一批随机变量（想象对应一条sequence，包含了很多的token）， P(Y) 为这些随机变量的分布；E 表示边，即概率依赖关...
2019-07-10 21:27:01
462
转载 Python可迭代对象中的添加和删除（add，append,pop,remove,insert）
文章目录List:dict:set：tuple:List:classmates = ['Michael', 'Bob', 'Tracy']classmates.append('Adam') //添加在末尾，没有add()方法classmates.insert(1, 'Jack') //在指定位置添加classmates.pop(1) //在知道位置删除，参数是...
2019-07-10 13:44:55
500
转载 数据平滑
文章目录数据预处理Add-one (Laplace) smoothingAdd-k smoothingBackoff回退法Interpolation插值法(Jelinek-Mere)Absolute discountingKneser-Ney smoothingModified Kneser-ney smoothing总结在自然语言处理中，经常要计算单词序列（句子）出现的概率估计。但是，算法训练...
2019-07-10 11:17:01
2815
原创 熵
文章目录信息熵条件熵相对熵 (Relative entropy)，也称KL散度 (Kullback–Leibler divergence)交叉熵总结信息熵一条信息的信息量大小和它的不确定性有直接的关系。我们需要搞清楚一件非常非常不确定的事，或者是我们一无所知的事，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们就不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为...
2019-07-10 10:01:53
264
原创 编译原理中的四种文法
这是有关编译原理的。乔姆斯基体系是计算机科学中刻画形式文法表达能力的一个分类谱系，是由诺姆·乔姆斯基于1956年提出的。它包括四个层次：0-型文法（无限制文法或短语结构文法）包括所有的文法。该类型的文法能够产生所有可被图灵机识别的语言。可被图灵机识别的语言是指能够使图灵机停机的字串，这类语言又被称为递归可枚举语言。注意递归可枚举语言与递归语言的区别，后者是前者的一个真子集，是能够被一个总停机...
2019-07-08 10:25:04
2399
原创 树- 二叉树
文章目录树的类型定义查找类（引用型操作）：插入类：删除类：有向树：二叉树二叉树的定义二叉树的重要特性两类特殊的二叉树满二叉树：深度为k 且含有 2^k-1个结点的二叉树。完全二叉树：二叉树的遍历问题的提出先左后右的遍历算法先序遍历算法：中序遍历算法：后序遍历算法：算法的递归和非递归版本先序遍历1.递归版非递归中序遍历递归版非递归后续遍历递归版非递归构造二叉树二叉树的先序和中序序列建树中序和后序算法...
2019-07-07 15:13:34
277
原创 栈 队列 数组
文章目录栈栈的类型定义栈的基本操作Push(&S,e)Pop(&S,&e)数组实现栈用链表实现栈两种方法的对比队列用数组实现队列用链表实现队列两种方法的对比数组关于数组的动态扩容以及增删改查栈栈的类型定义栈的基本操作Push(&S,e)初始条件：栈S已存在操作结果：插入元素e为新的栈顶元素。Pop(&S,&e)初始条件：栈已存...
2019-07-06 15:47:17
503
原创 线性表：线性表的链式存储结构
文章目录链表链表的定义单链表头结点和头指针节点实现单链表的操作头部添加元素尾部添加元素指定位置添加元素删除节点查找节点是否存在完整代码链表与顺序表的对比链表链表的定义链表（Linked list）是一种常见的基础数据结构，是一种线性表，但是不像顺序表一样连续存储数据，而是在每一个节点（数据存储单元）里存放下一个节点的位置信息（即地址）。单链表概念： 用一组地址任意的存储单元存放线性表中...
2019-07-06 14:50:57
513
原创 线性表：线性表的顺序储存结构
在程序中，经常需要将一组（通常是同为某个类型的）数据元素作为整体管理和使用，需要创建这种元素组，用变量记录它们，传进传出函数等。一组数据中包含的元素个数可能发生变化（可以增加或删除元素）。对于这种需求，最简单的解决方案便是将这样一组元素看成一个序列，用元素在序列里的位置和顺序，表示实际应用中的某种有意义的信息，或者表示数据之间的某种关系。这样的一组序列元素的组织形式，我们可以将其抽象为线性表。...
2019-07-05 14:55:50
600
原创 算法和算法分析
算法的概念算法是计算机处理信息的本质，因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地，当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储地址供以后再调用。算法的定义：是对特定问题求解步骤的一种描述。算法是指令的有限序列，其中每条指令表示一个或多个操作。算法的五大特性输入: 算法具有0个或多个输入输出: 算法至少有...
2019-07-05 14:13:52
850
原创 损失函数
文章目录一、平方损失函数（最小二乘法, Ordinary Least Squares ）均方误差ESM均方误差+Sigmoid激活函数：输出层神经元学习率缓慢Sigmoid激活函数：ESM均方误差+Sigmoid激活函数二.交叉熵损失交叉损失的定义1.soft max分类器2.交叉熵损失损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函...
2019-07-05 14:06:10
2299
原创 优化器算法（optimizer）详解
文章目录梯度下降的理解一.优化器算法简述1.Batch Gradient Descent （BGD）2.Stochastic Gradient Descent (SGD)3.Mini-Batch Gradient Descent （MBGD）［应对挑战 1］4.Momentum5.Nesterov Accelerated Gradient［应对挑战 2］6.Adagrad （Adaptive gr...
2019-07-05 11:24:26
1371
原创 python gensim下使用word2vec
用gensim函数库训练Word2Vec模型有很多配置参数。这里对gensim文档的Word2Vec函数的参数说明进行翻译。class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5, min_count=5, max_vocab_size=None, sample=0.001,seed=1...
2019-07-05 09:32:38
273
原创 python 中sys模块
sys.argv 命令行参数List，第一个元素是程序本身路径sys.modules 返回系统导入的模块字段，key是模块名，value是模块sys.exit(n) 退出程序，正常退出时exit(0...
2019-07-05 09:18:18
101
原创 飞机最低可俯冲高度（DP）
提议近日，埃航空难的新闻牵动了无数人的心。据悉，空难很可能是由于波音737MAX飞机的失速保护系统错误触发所致。在飞机进行高空飞行时，驾驶辅助系统如果检测到飞机失速，无法维持足够的飞行升力，会压低机头进行俯冲，以重新获得速度，进而获取足够的飞行升力，维持飞行高度。但是在飞机进行低空飞行时，触发俯冲机制极有可能在飞机还未获得足够飞行速度并上升之前已经撞击地面。鉴于半年内的两起事故，波音公司...
2019-07-04 13:08:46
1518
原创 整理书架（逆序对）
题目图书管理员小P每天要整理书架，一个书架有N排，每一排书架上能摆放k本书，每本书上都有索引的数字编号，例如1,5,7等等。小P喜欢从数字编号排列最整齐的书架开始整理，因为这样的话这排书架上的书就不用整理，按照整齐程度整理，最后整理最不整齐的那排书架。那么能否请机智的你帮助小P找出整理书架的顺序呢？整齐程度的定义：每排书架中书的编号存在的逆序对越少，这排书架就越整齐，一排书架中若书的编号完...
2019-07-03 22:29:25
483
原创 语言模型（词向量）
语言模型语言模型旨在为语句的联合概率函数P(w1,…,wT)建模, 其中wi表示句子中的第i个词。语言模型的目标是，希望模型对有意义的句子赋予大概率，对没意义的句子赋予小概率。 这样的模型可以应用于很多领域，如机器翻译、语音识别、信息检索、词性标注、手写识别等，它们都希望能得到一个连续序列的概率。对语言模型的目标概率P(w1,…,wT)，如果假设文本中每个词都是相互独立的，则整句话的联合概率可...
2019-07-03 22:25:02
1947
原创 幸存者游戏
有n个同学围成一圈，其id依次为1~n（n号挨着1号）。现在从1号开始报数，第一回合报到m的人就出局，第二回合从出局的下一个人开始报数，报到m2的同学出局。以此类推，直到最后一个回合报到mn−1的人出局，剩下最后一个同学。输出这个同学的编号。输入格式共一行，包含两个整数n和m。输出格式输出最后剩下的同学的编号。数据范围n≤15,m≤5输入样例：5 2输出样例：5`inn...
2019-07-02 18:50:15
667
原创 数据预处理--独热编码（One-Hot Encoding）和 LabelEncoder标签编码
一、问题由来在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。离散特征的编码分为两种情况：1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}使用pandas可以很方便的对离散型特征进行one-hot编码i...
2019-07-01 22:56:13
544
原创 java--集合框架（三hashset）
hashset特性无序无索引无重复1.HashSet原理我们使用Set集合都是需要去掉重复元素的, 如果在存储的时候逐个equals()比较, 效率较低,哈希算法提高了去重复的效率, 降低了使用equals()方法的次数当HashSet调用add()方法存储对象的时候, 先调用对象的hashCode()方法得到一个哈希值, 然后在集合中查找是否有哈希值相同的对象如果没有哈希值相...
2019-07-01 22:41:53
91
原创 java -集合框架（二）
ArrayList去除集合中字符串的重复值(字符串的内容相同) * 思路：创建新集合方式 */public static void main(String[] args) { ArrayList list = new ArrayList(); list.add("a"); list.add("a"); list.add("b"); list.add("b"); list.add(...
2019-06-22 13:20:48
75
原创 Java-集合框架（一）
A:集合的由来数组长度是固定,当添加的元素超过了数组的长度时需要对数组重新定义,太麻烦,java内部给我们提供了集合类,能存储任意对象,长度是可以改变的,随着元素的增加而增加,随着元素的减少而减少B:数组和集合的区别区别1 :数组既可以存储基本数据类型,又可以存储引用数据类型,基本数据类型存储的是值,引用数据类型存储的是地址值集合只能存储引用数据类型(对象)集合中也可以存储基...
2019-06-22 10:00:38
89
原创 协程
迭代器迭代器的目的是节省空间，可以循环from collections import Iterablefrom collections import Iteratorclass Classmate(object): def __init__(self): self.name=list() self.current_num=0 def add...
2019-06-21 20:54:22
123
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人