2018年03月_liangjiubujiu

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 LSTM论文翻译-《Understanding LSTM Networks》

1. 循环神经网络（RNNs）人们并不是每一秒都重新开始新的思考的，就像你读这篇论文，你基于以前对词句的认知来理解每一个词，而不是丢掉以前所有的知识，重新开始构思新的想法。人们的思维是持续的。传统的神经网络是不会持续思考的，这是它的主要短板，例如，想象你要区分一部电影在每个时间段发生那种事件，传统的神经网络（以下称NN）怎样合理的将电影前面发生的事件传递给后面的事件呢？这是不明的。RNN的...

2018-03-30 18:48:08 6080

转载 python yeild

yeild简单来说就是一个生成器，生成器是这样一个函数，它记住上一次返回时在函数体中的位置。对生成器函数的第二次（或第n次）调用跳转至该函数中间，而上次调用的所有局部变量都保持不变。生成器是一个函数函数所有的参数都会保留第二次调用此函数时使用的参数是前一次留下的生成器还“记住”了它数据状态。还记住了它在流控制构造中的位置。生成器的运行机制当你让生成器产生一个数时，生成器会执行，直至出现yeild语...

2018-03-29 09:41:08 341

转载 python shuffle 函数

shuffle() 方法将序列的所有元素随机排序。下面是语法:1 import random2 3 random.shuffle (lst )lst可以是序列或者元组； 1 >>> import random; 2 >>> indexList=[1,2,4,5,8,6]; 3 >>> indexList 4 [1, 2, 4, 5, ...

2018-03-29 09:15:30 1851

转载 tensorflow ConfigProto

tf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)1#tf.ConfigProto()的参数log_device_placement=True : 是否打印设备分配日志allow_soft_placement=True ：如果你指定的设备不存在，允许T...

2018-03-29 09:12:29 496

转载 logging模块学习笔记：logger 对象、日志等级

logger：日志对象，logging模块中最基础的对象，用logging.getLogger(name)方法进行初始化，name可以不填。通常logger的名字我们对应模块名，如聊天模块、数据库模块、验证模块等。logger对象的常用方法有：setLevel：设置日志等级日志等级分别有以下几种：CRITICAL : 'CRITICAL',ERROR : 'ERROR',WARNING : 'WA...

2018-03-29 08:58:50 3698

转载 jieba分词包的简单用法

简单用法结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式，下面对这三种模式分别举例介绍：精确模式import jiebas = u'我想和女朋友一起去北京故宫博物院参观和闲逛。'cut = jieba.cut(s)print '【Output】'print cutprint ','.join(cut)【Output】<generator object cut at 0...

2018-03-27 21:04:46 957 2

转载 Python中的join()函数的用法

函数：string.join()Python中有join()和os.path.join()两个函数，具体作用如下： join()：连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串 os.path.join()：将多个路径组合后返回一、函数说明1、join()函数语法： 'sep'.join(seq)参数说明sep：分隔符。可以为空s...

2018-03-27 20:49:56 1235

转载 python assert 语句使用

1、assert语句用来声明某个条件是真的。2、如果你非常确信某个你使用的列表中至少有一个元素，而你想要检验这一点，并且在它非真的时候引发一个错误，那么assert语句是应用在这种情形下的理想语句。3、当assert语句失败的时候，会引发一AssertionError。测试程序：>>> mylist = ['item']>>> assert len(mylist...

2018-03-27 15:07:08 1805 1

转载序列标注中的几种标签方案

标签说明标签方案中通常都使用一些简短的英文字符[串]来编码。标签是打在token上的。对于英文，token可以是一个单词（e.g. awesome），也可以是一个字符（e.g. a）。对于中文，token可以是一个词语（分词后的结果），也可以是单个汉字字符。为便于说明，以下都将token试作等同于字符。标签列表如下：B，即Begin，表示开始I，即Intermediate，表示中间E，即End，表...

2018-03-27 11:27:09 10563

转载创建二维列表 Python list

例如创建一个3*3的数组方法1 直接定义[py]matrix = [[0, 0, 0], [0, 0, 0], [0, 0, 0]][/py]方法2 间接定义matrix = [[0 for i in range(3)] for i in range(3)]a=[['我','是','大'],['你','是','大']]...

2018-03-27 10:48:35 2636

转载 python3 OrderedDict类（有序字典）

python3 OrderedDict类（有序字典）创建有序字典import collectionsdic = collections.OrderedDict()dic['k1'] = 'v1'dic['k2'] = 'v2'dic['k3'] = 'v3'print(dic)#输出：OrderedDict([('k1', 'v1'), ('k2', 'v2'), ('k3', '...

2018-03-27 10:10:37 2022

转载 tf.app.flags.DEFINE_string()和tf.app.flags.FLAGS和tf.app.run()

tf.app.flagstf.app.flags主要用于处理命令行参数的解析工作，其实可以理解为一个封装好了的argparse包（argparse是一种结构化的数据存储格式，类似于Json、XML）。首先我们通过tf.app.flags来调用这个flags.py文件，这样我们就可以用flags.DEFINE_interger/float()来添加命令行参数，而FLAGS=flags.FLAGS可以...

2018-03-27 09:49:29 2083 1

转载 python enumerate 函数

enumerate()说明enumerate()是python的内置函数enumerate在字典上是枚举、列举的意思对于一个可迭代的（iterable）/可遍历的对象（如列表、字符串），enumerate将其组成一个索引序列，利用它可以同时获得索引和值enumerate多用于在for循环中得到计数例如对于一个seq，得到：(0, seq[0]), (1, seq[1]), (2, seq[2])1...

2018-03-26 21:35:06 247

转载 if not x 的各种变形

判断是否为None的情况if not xif x is Noneif not x is None if x is not None`是最好的写法，清晰，不会出现错误，以后坚持使用这种写法。使用if not x这种写法的前提是：必须清楚x等于None, False, 空字符串"", 0, 空列表[], 空字典{}, 空元组()时对你的判断没有影响才行 ==============转载至http:/...

2018-03-26 20:40:04 272

转载 re.sub的功能

re.sub的功能re是regular expression的所写，表示正则表达式sub是substitute的所写，表示替换；re.sub是个正则表达式方面的函数，用来实现通过正则表达式，实现比普通字符串的replace更加强大的替换功能；举个最简单的例子：如果输入字符串是：1inputStr = "hello 111 world 111"那么你可以通过1replacedStr = inputS...

2018-03-26 20:36:08 268

转载 embedding 和segmentation representation

传统的neural Model for Chinese Word Segmentation中文分词一般是基于字符的序列标签。每个字符可以被标记为集合{B, M, E, S}中的一个元素。 B - Begin, M - Middle, E-End of a multi-character segmentation(多字符分割)，S 代表 Single character segmentation。...

2018-03-26 13:32:58 907

转载 tf.nn.embedding_lookup函数原理

Embedding原理应用中一般将物体嵌入到一个低维空间，只需要再compose上一个从到的线性映射就好了。每一个的矩阵都定义了到的一个线性映射:。当是一个标准基向量的时候，对应矩阵中的一列，这就是对应id的向量表示。这个概念用神经网络图来表示如下：从id(索引)找到对应的One-hot encoding，然后红色的weight就直接对应了输出节点的值(注意这里没有activation fu...

2018-03-25 21:23:54 1327

转载 CRF的工作原理

本文框架如下：介绍——在命名实体识别任务中，BiLSTM模型中CRF层的通用思想详细的实例——通过实例来一步步展示CRF的工作原理实现——CRF层的一步步实现过程谁可以读本文——本文适用与NLP初级入门者或者AI其他相关领域需要有的基础知识：你只需要知道什么是命名实体识别，如果你不懂神经网络，条件随机场（CRF）或者其它相关知识，不必担心，本文将向你展示CRF层是如何工作的。本文将尽可能的讲的通俗...

2018-03-24 09:22:57 24783 11

转载 BiLSTM-CRF 模型实现中文命名实体识别

三个月之前 NLP 课程结课，我们做的是命名实体识别的实验。在MSRA的简体中文NER语料（我是从这里下载的，非官方出品，可能不是SIGHAN 2006 Bakeoff-3评测所使用的原版语料）上训练NER模型，识别人名、地名和组织机构名。尝试了两种模型：一种是手工定义特征模板后再用CRF++开源包训练CRF模型；另一种是最近两年学术界比较流行的 BiLSTM-CRF 模型。小白一枚...

2018-03-24 08:32:48 20630 13

转载梯度下降优化算法综述

梯度下降优化算法综述该文翻译自An overview of gradient descent optimization algorithms。总所周知，梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现。但是，它们就像一个黑盒优化器，很...

2018-03-17 15:16:07 313

转载 jupyter notebook 的安装和使用

最近由于项目需要，开始学习python，然后发现一个非常有用的python交互式编辑器，非常容易上手而且非常有用和实在，本博文是对学习jupyter notebook的一个汇总和记录，与大家一起分享！下面的内容是针对ubuntu 系统的，当然，jupyter notebook在windows也是支持的。一、jupyter notebook是什么官网的介绍是：Jupyter Notebook是一个W...

2018-03-15 09:53:40 561

转载 RNN 配合LSTM的输入处理

作者：Scofield链接：https://www.zhihu.com/question/41949741/answer/318771336来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。所以RecurrentNNs的结构图我认为应该这样画，在理解上才会更清晰些，对比MLP，也一目了然。(自己画的为了简约，只画了4个time-steps ）……ground truth...

2018-03-14 16:21:03 1631

转载双向长短时记忆循环神经网络详解（Bi-directional LSTM RNN）

1. Recurrent Neural Network (RNN)尽管从多层感知器（MLP）到循环神经网络（RNN）的扩展看起来微不足道，但是这对于序列的学习具有深远的意义。循环神经网络（RNN）的使用是用来处理序列数据的。在传统的神经网络中模型中，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题是无能为力的。比如，预测句子的下一个单词是什么，一般需要用到前面的单...

2018-03-13 21:27:42 2798

转载简单的LSTM 图形解释

LSTM 的核心思想LSTM 的关键就是细胞状态，水平线在图上方贯穿运行。细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。Paste_Image.pngLSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。Past...

2018-03-13 20:53:03 2650

转载 tensorflow-rnn 编程和图形讲解

tensorflow笔记系列：（一） tensorflow笔记：流程，概念和简单代码注释（二） tensorflow笔记：多层CNN代码分析（三） tensorflow笔记：多层LSTM代码分析（四） tensorflow笔记：常用函数说明（五） tensorflow笔记：模型的保存与训练过程可视化（六）tensorflow笔记：使用tf来实现word2vec之前讲过了tensorfl...

2018-03-13 20:52:28 395

原创 tf.random_uniform 使用法

tf.random_uniform((4, 4), minval=low,maxval=high,dtype=tf.float32)))返回4*4的矩阵，产生于low和high之间，产生的值是均匀分布的。例如：[python] view plain copyimport tensorflow as tf import numpy as np with tf.Session() as ses...

2018-03-13 15:30:57 833

转载 tf. placeholder 使用法

tf.placeholder(dtype, shape=None, name=None)此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值参数：dtype：数据类型。常用的是tf.float32,tf.float64等数值类型shape：数据形状。默认是None，就是一维值，也可以是多维，比如[2,3], [None, 3]表示列是3，行不定name：名称。[html] view pla...

2018-03-13 15:17:43 1571

转载 tf.placeholder 与 tf.Variable

TensorFlow 辨异 —— tf.placeholder 与 tf.Variable原创 2017年03月12日 23:51:47标签：placeholde /variable16899二者的主要区别在于：tf.Variable：主要在于一些可训练变量（trainable variables），比如模型的权重（weights，W）或者偏执值（bias）；声明时，必须提供初始值；名称的真实含义...

2018-03-04 11:13:15 324

转载 tf.transpose 使用方法

tf.transpose(X,perm = [0,2,1])这个函数就是将tensor的对应的维数进行置换，这里发现几点，1.tensorflow 里面的 tensor是先从高维向低维算起的比如：'x' is [[[1 2 3] # [4 5 6]] # [[7 8 9] # [10 11 12]]]x的维数就...

2018-03-04 10:32:05 501

转载 python 列表和元组的区别

列表 VS 元组一个 Python 初学者的普遍疑问：列表与元组的区别是什么？答案是：它们之间有两点不同，并且二者之间有着复杂的相互作用。它们分别是”技术上”的差异和“文化上”的差异。首先，有一点是相同的：列表与元组都是容器，是一系列的对象。Python123456>>> my_list = [1, 2, 3]>>> type(my_list)<class...

2018-03-03 10:17:00 1045