自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 LSTM与BI-LSTM

文章目录从RNN到LSTMLSTM模型结构剖析LSTM之遗忘门LSTM之输入门LSTM之细胞状态更新LSTM之输出门LSTM前向传播算法LSTM反向传播算法推导关键点 从RNN到LSTM 在RNN模型里,我们讲到了RNN具有如下的结构,每个序列索引位置t都有一个隐藏状态h(t)。     如果我们...

2019-08-21 10:16:58 6751 0

原创 RNN(循环神经网络)

文章目录RNN概述RNN模型RNN前向传播算法RNN反向传播算法推导RNN小结 DNN的特例CNN的模型和前向反向传播算法,这些算法都是前向反馈的,模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络:循环神经网络(Recurrent Neural Networks ...

2019-08-20 15:00:39 411 0

原创 DNN

文章目录前向传播从感知机到神经网络DNN的基本结构DNN前向传播算法数学原理DNN前向传播算法反向传播算法(BP)DNN反向传播算法要解决的问题DNN反向传播算法的基本思路DNN反向传播算法过程损失函数和激活函数的选择均方差损失函数+Sigmoid激活函数的问题使用交叉熵损失函数+Sigmoid激...

2019-08-19 16:55:11 1130 0

原创 LSA、PSLA、LDA和lda2vec进行主题建模

文章目录概述LSA代码实现PLSA 在自然语言理解任务中,我们可以通过一系列的层次来提取含义——从单词、句子、段落,再到文档。在文档层面,理解文本最有效的方式之一就是分析其主题。在文档集合中学习、识别和提取这些主题的过程被称为主题建模。 概述 所有主题模型都基于相同的基本假设: 每个文档包含多个...

2019-08-18 21:10:30 54 0

原创 条件随机场

文章目录概率无向图模型模型定义概率无向图模型:概率无向图模型的因子分解条件随机场的模型表示linear-chain 条件随机场CRF 的定义CRF 的参数化形式CRF 的简化形式条件随机场的矩阵形式条件随机场的概率计算问题前向-后向算法概率计算期望值的计算条件随机场的训练L-BFGS算法条件随机场...

2019-08-03 09:47:37 143 0

原创 十大排序算法(python)

文章目录十大排序算法排序算法介绍非线性时间比较类排序:线性时间非比较类排序:相关概念交换排序1冒泡排序(Bubble Sort)2 快速排序(Quick Sort)插入排序3 简单插入排序(Insert Sort)4希尔排序(Shell Sort)选择排序5.简单选择排序(Select Sort)...

2019-07-25 16:14:37 85 0

原创 上传项目到GitHub

https://blog.csdn.net/Lucky_LXG/article/details/77849212

2019-07-24 20:35:36 26 0

原创 卷积神经网络

文章目录卷积神经网络卷积层卷积参数共享原则池化层卷积神经网络的组成 卷积神经网络 卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 它包括卷积层(convolution...

2019-07-23 08:05:25 54 0

原创 常用的查找算法(python)

文章目录基本概念无序表查找有序表查找线性索引查找稠密索引分块索引倒排索引五、二叉排序树平衡二叉树散列表(哈希表)散列函数的构造方法处理散列冲突散列表查找性能分析 基本概念 查找(Searching)就是根据给定的某个值,在查找表中确定一个其关键字等于给定值的数据元素(或记录)。 查找表(Searc...

2019-07-22 16:34:40 31 0

原创 Attention is all you need(Transform)

文章目录从宏观看Transformer将张量引入图景现在我们开始“编码”从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量?通过矩阵运算实现自注意力机制“大战多头怪”使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结损失函数 从宏...

2019-07-21 21:32:09 96 0

原创 pytorch-1

文章目录Tensor Tensor import torch #生成一个矩阵 a=torch.Tensor([[1,2],[3,4],[5,6],[7,8]]) print(a) print('{}'.format(a)) print('{}'.format...

2019-07-19 19:54:32 84 0

原创 隐马尔科夫模型HMM(四)维特比算法解码隐藏状态序列

HMM最可能隐藏状态序列求解概述 在HMM模型的解码问题中,给定模型λ=(A,B,Π)和观测序列O={o1,o2,...oT}O =\{o_1,o_2,...o_T\}O={o1​,o2​,...oT​},求给定观测序列O条件下,最可能出现的对应的状态序列I∗={i1∗,i2∗,...iT∗}I^...

2019-07-11 22:39:30 108 0

转载 隐马尔科夫模型HMM(三)鲍姆-韦尔奇算法求解HMM参数

文章目录HMM模型参数求解概述鲍姆-韦尔奇算法的推导鲍姆-韦尔奇算法流程总结 HMM模型参数求解概述 HMM模型参数求解根据已知的条件可以分为两种情况。 第一种情况较为简单,就是我们已知D个长度为T的观测序列和对应的隐藏状态序列,即{(O1,I1),(O2,I2),...(OD,ID)}\{(O_...

2019-07-11 22:11:00 86 0

原创 图:定义与存储

文章目录图的定义与基本术语图Graph的定义ADT图的存储结构 图的定义与基本术语 图Graph的定义 图是一种网状数据结构,形式化定义如下: 集合DataObject中的所有元素具有相同的特性,V中数据元素常称为顶点(vertex),VR是两个顶点之间关系的集合,P(x,y)表示x和y之间有特...

2019-07-11 20:53:10 49 0

原创 隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率

文章目录HMM问题一:求观测序列的概率暴力求解用前向算法求HMM观测序列的概率前向算法。HMM前向算法求解实例 HMM问题一:求观测序列的概率 首先我们回顾下HMM模型的问题一。这个问题是这样的。我们已知HMM模型的参数λ=(A,B,Π)\lambda = (A, B, \Pi)λ=(A,B,Π)...

2019-07-10 23:30:10 70 0

原创 隐马尔科夫模型HMM(一)HMM模型

什么样的问题需要HMM模型 首先我们来看看什么样的问题解决可以用HMM模型。使用HMM模型时我们的问题一般有这两个特征:1)我们的问题是基于序列的,比如时间序列,或者状态序列。2)我们的问题中有两类数据,一类序列数据是可以观测到的,即观测序列;而另一类数据是不能观察到的,即隐藏状态序列,简称状态序...

2019-07-10 22:21:11 38 0

原创 判别式与生成式模型

有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoid函数)。 假设现在有一个分类问题,要根据一些动物的特征来区分大象(y = 1)和狗(y = 0)。给定这样的一种数据...

2019-07-10 21:48:19 43 0

转载 概率图模型

文章目录概率图有向图 vs. 无向图有向图条件局部独立性无向图 概率图 在概率图模型中,数据(样本)由公式 G=(V,E) 建模表示: V 表示节点,即随机变量(放在此处的,可以是一个token或者一个label),具体地,用 为随机变量建模,注意 Y 现在是代表了一批随机变量(想象对应一条s...

2019-07-10 21:27:01 40 0

转载 Python可迭代对象中的添加和删除(add,append,pop,remove,insert)

文章目录List:dict:set:tuple: List: classmates = ['Michael', 'Bob', 'Tracy'] classmates.append('Adam') //添加在末尾,...

2019-07-10 13:44:55 84 0

转载 数据平滑

文章目录数据预处理Add-one (Laplace) smoothingAdd-k smoothingBackoff回退法Interpolation插值法(Jelinek-Mere)Absolute discountingKneser-Ney smoothingModified Kneser-ne...

2019-07-10 11:17:01 74 0

原创

文章目录信息熵条件熵相对熵 (Relative entropy),也称KL散度 (Kullback–Leibler divergence)交叉熵总结 信息熵 一条信息的信息量大小和它的不确定性有直接的关系。我们需要搞清楚一件非常非常不确定的事,或者是我们一无所知的事,就需要了解大量的信息。相反,如...

2019-07-10 10:01:53 44 0

原创 编译原理中的四种文法

这是有关编译原理的。 乔姆斯基体系是计算机科学中刻画形式文法表达能力的一个分类谱系,是由诺姆·乔姆斯基于1956年提出的。它包括四个层次: 0-型文法(无限制文法或短语结构文法)包括所有的文法。该类型的文法能够产生所有可被图灵机识别的语言。可被图灵机识别的语言是指能够使图灵机停机的字串,这类语言...

2019-07-08 10:25:04 441 0

原创 树- 二叉树

文章目录树的类型定义查找类(引用型操作):插入类:删除类:有向树:二叉树二叉树的定义二叉树的重要特性两类特殊的二叉树满二叉树:深度为k 且含有 2^k-1个结点的二叉树。完全二叉树:二叉树的遍历问题的提出先左后右的遍历算法先序遍历算法:中序遍历算法:后序遍历算法:算法的递归和非递归版本先序遍历1....

2019-07-07 15:13:34 46 0

原创 栈 队列 数组

文章目录栈栈的类型定义栈的基本操作Push(&S,e)Pop(&S,&e)数组实现栈用链表实现栈两种方法的对比队列用数组实现队列用链表实现队列两种方法的对比数组关于数组的动态扩容以及增删改查 栈 栈的类型定义 栈的基本操作 Push(&S,e) 初始条件:栈S已...

2019-07-06 15:47:17 75 0

原创 线性表:线性表的链式存储结构

文章目录链表链表的定义单链表头结点和头指针节点实现单链表的操作头部添加元素尾部添加元素指定位置添加元素删除节点查找节点是否存在完整代码链表与顺序表的对比 链表 链表的定义 链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是不像顺序表一样连续存储数据,而是在每一个节点(数据存...

2019-07-06 14:50:57 35 0

原创 线性表:线性表的顺序储存结构

在程序中,经常需要将一组(通常是同为某个类型的)数据元素作为整体管理和使用,需要创建这种元素组,用变量记录它们,传进传出函数等。一组数据中包含的元素个数可能发生变化(可以增加或删除元素)。 对于这种需求,最简单的解决方案便是将这样一组元素看成一个序列,用元素在序列里的位置和顺序,表示实际应用中的某...

2019-07-05 14:55:50 210 0

原创 算法和算法分析

算法的概念 算法是计算机处理信息的本质,因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地,当算法在处理信息时,会从输入设备或数据的存储地址读取数据,把结果写入输出设备或某个存储地址供以后再调用。 算法的定义:是对特定问题求解步骤的一种描述。算法是指令的有限序列,其...

2019-07-05 14:13:52 64 0

原创 损失函数

文章目录一、平方损失函数(最小二乘法, Ordinary Least Squares )均方误差ESM均方误差+Sigmoid激活函数:输出层神经元学习率缓慢Sigmoid激活函数:ESM均方误差+Sigmoid激活函数二.交叉熵损失交叉损失的定义1.soft max分类器2.交叉熵损失 损失函数...

2019-07-05 14:06:10 822 0

原创 优化器算法(optimizer)详解

文章目录梯度下降的理解一.优化器算法简述1.Batch Gradient Descent (BGD)2.Stochastic Gradient Descent (SGD)3.Mini-Batch Gradient Descent (MBGD)[应对挑战 1]4.Momentum5.Nesterov...

2019-07-05 11:24:26 172 0

原创 python gensim下使用word2vec

用gensim函数库训练Word2Vec模型有很多配置参数。这里对gensim文档的Word2Vec函数的参数说明进行翻译。 class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,window=5, mi...

2019-07-05 09:32:38 104 0

原创 python 中sys模块

sys.argv 命令行参数List,第一个元素是程序本身路径 sys.modules 返回系统导入的模块字段,key是模块名,value是模块 sys.exit(...

2019-07-05 09:18:18 39 0

原创 飞机最低可俯冲高度(DP)

提议 近日,埃航空难的新闻牵动了无数人的心。 据悉,空难很可能是由于波音737MAX飞机的失速保护系统错误触发所致。 在飞机进行高空飞行时,驾驶辅助系统如果检测到飞机失速,无法维持足够的飞行升力,会压低机头进行俯冲,以重新获得速度,进而获取足够的飞行升力,维持飞行高度。 但是在飞机进行低空飞行时,...

2019-07-04 13:08:46 257 0

原创 整理书架(逆序对)

题目 图书管理员小P每天要整理书架,一个书架有N排,每一排书架上能摆放k本书,每本书上都有索引的数字编号,例如1,5,7等等。 小P喜欢从数字编号排列最整齐的书架开始整理,因为这样的话这排书架上的书就不用整理,按照整齐程度整理,最后整理最不整齐的那排书架。 那么能否请机智的你帮助小P找出整理书架的...

2019-07-03 22:29:25 53 0

原创 语言模型(词向量)

语言模型 语言模型旨在为语句的联合概率函数P(w1,…,wT)建模, 其中wi表示句子中的第i个词。语言模型的目标是,希望模型对有意义的句子赋予大概率,对没意义的句子赋予小概率。 这样的模型可以应用于很多领域,如机器翻译、语音识别、信息检索、词性标注、手写识别等,它们都希望能得到一个连续序列的概率...

2019-07-03 22:25:02 715 0

原创 幸存者游戏

有n个同学围成一圈,其id依次为1~n(n号挨着1号)。 现在从1号开始报数,第一回合报到m的人就出局,第二回合从出局的下一个人开始报数,报到m2的同学出局。 以此类推,直到最后一个回合报到mn−1的人出局,剩下最后一个同学。 输出这个同学的编号。 输入格式 共一行,包含两个整数n和m。 输出格式...

2019-07-02 18:50:15 90 0

原创 数据预处理--独热编码(One-Hot Encoding)和 LabelEncoder标签编码

一、问题由来 在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。 离散特征的编码分为两种情况: 1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码 2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映...

2019-07-01 22:56:13 143 0

原创 java--集合框架(三hashset)

hashset特性 无序 无索引 无重复 1.HashSet原理 我们使用Set集合都是需要去掉重复元素的, 如果在存储的时候逐个equals()比较, 效率较低,哈希算法提高了去重复的效率, 降低了使用equals()方法的次数 当HashSet调用add()方法存储对象的时候, 先调用对象...

2019-07-01 22:41:53 24 0

原创 java -集合框架(二)

ArrayList去除集合中字符串的重复值(字符串的内容相同) * 思路:创建新集合方式 */ public static void main(String[] args) { ArrayList list = new ArrayList(); list.add("a"...

2019-06-22 13:20:48 29 0

原创 Java-集合框架(一)

A:集合的由来 数组长度是固定,当添加的元素超过了数组的长度时需要对数组重新定义,太麻烦,java内部给我们提供了集合类,能存储任意对象,长度是可以改变的,随着元素的增加而增加,随着元素的减少而减少 B:数组和集合的区别 区别1 : 数组既可以存储基本数据类型,又可以存储引用数据类型,基...

2019-06-22 10:00:38 50 0

原创 协程

迭代器 迭代器的目的是节省空间,可以循环 from collections import Iterable from collections import Iterator class Classmate(object): def __init__(self): self...

2019-06-21 20:54:22 48 0

提示
确定要删除当前文章?
取消 删除