关注
分享
机器玄学实践者
现任职于一家人工智能公司，负责研究对话系统及相关子任务在神经网络上的解决方法及效果评估
展开
-
判断numpy 中 infinite 和NAN的问题
在numpy中由于numpy太强大了，经常会计算出一些不合法的结果，若不注意放入model中训练。就会报错今天教大家一个测试数据是否合法的函数np.isnan(y)上面的y是一个数 ，return返回值为TrueFalsenp.isnan(vec).any()np.isnan(vec).all()上面的vec是一个nparray，可以判断数组中的任意元素是否合法，特...原创 2020-02-17 20:33:42 · 3251 阅读 · 0 评论 -
中文词性标注part of speech tagging数据汇总序列标注数据语料
2014人民日报1998人民日报国家语委treebankmsra微软亚洲研究院原创 2019-10-28 00:29:22 · 778 阅读 · 0 评论 -
【最新试验】用预训练模型xlnet做序列标注_自然语言处理_使用XlnetForTokenClassification做命名实体识别pytorch版
ner，命名实体识别是关系抽取中非常重要的一个任务。通常命名实体指的是时间，地点，人名，组织名等等。而中文命名实体识别由要比英文更加复杂。这里我用xlnet来做ner。首先第一步是处理数据我们首先在github上找到一个数据汇总的repo，下载下来或者git clone下来都可以。https://github.com/InsaneLife/ChineseNLPCorpus/tre...原创 2019-10-12 19:09:22 · 2200 阅读 · 3 评论 -
Tensorflow卷积神经网络 CNN文本匹配 问答匹配 (accuracy 78%)附带数据
花了一点时间将之前的文本分类改成现在的QA匹配，实际上思路还是很简单的，原来的x 输入换成xq，xa,label不变。匹配层我用的是difference+ absolute value的操作。它计算两个句子，q，a相似程度。非常简单。代码一步步给。定义： 模型所需数据个数，qa的对数模型考虑的词汇表大小每个句子的长度词向量维度批次大小学习率# d...原创 2019-03-29 17:57:38 · 2044 阅读 · 0 评论 -
Tensorflow 循环神经网络 RNN文本匹配 问答匹配 (accuracy 74%)(3)
这篇博客是记录我做文本匹配的一些尝试，现在依然用之前的淘宝数据，准确度74%。之前的博客已经讲解了句子序列是怎么回事了，现在我们把文本分类问题改写成问答匹配问题。那么显然现在我们的输入变成了两个句子，输出依然是分类标签。那么两个句子经过同样的RNN获得最后的sentence vector，如何匹配sentence vector呢？我这里用的是dot product，两个vector对应位置相乘...原创 2019-03-24 13:30:08 · 565 阅读 · 0 评论 -
keras 问答匹配孪生网络文本匹配 RNN 带有数据
用途：这篇博客解释了如何搭建一个简单的匹配网络。并且使用了keras的lambda层。在建立网络之前需要对数据进行预处理。处理过后，文本转变为id字符序列。将一对question,answer分别编码可以得到两个向量，在匹配层中比较两个向量，计算相似度。网络图示：数据准备：数据基于网上的淘宝客服对话数据，我也会放在我的下载页面中。原数据是对话，我筛选了其中label为1的...原创 2019-04-01 14:23:49 · 1641 阅读 · 0 评论 -
CNN句子分类TensorFlow网络解析
概要：这篇博客主要分析了如何用TensorFlow对句子建模，模型为CNN，涉及到常用函数的参数及解释。首先放入 序列，进入embedding层，得到维度为 [none,句子长度，词向量维度，1]的张量，多的维度是用来做卷积的。[None,sentence_length,embed_size]self.embedded_words_q = tf.nn.embedding_loo...原创 2019-04-01 18:54:35 · 315 阅读 · 0 评论 -
Keras 中加入lambda层无法正常载入模型问题
刚刚解决了这个问题，现在记录下来问题描述当使用lambda层加入自定义的函数后，训练没有bug，载入保存模型则显示Nonetype has no attribute 'get'问题解决方法:这个问题是由于缺少config信息导致的。lambda层在载入的时候需要一个函数，当使用自定义函数时，模型无法找到这个函数，也就构建不了。m = load_mode...原创 2019-05-30 15:14:22 · 2798 阅读 · 9 评论 -
【最新试验】使用BertForTokenClassification做命名实体识别序列标注pytorch版
阅读这篇文章你需要知道什么是bert？bert几乎时最新最强的预训练模型之一。使用方法很简单，只需要一块gpu，大概8g显存，再取github上找到pytorch transformer这个repo，最后运行里面的run glue.py恭喜你！成功打开新世界大门但是，如何用bert做ner呢？我们现在的run glue只能解决句子分类，而ner相当于词级分类，所以只能自己想怎么搭建模...原创 2019-09-16 20:31:04 · 10920 阅读 · 2 评论 -
TensorFlow 情感分析句子分类CNN代码（附带数据）
原代码来自GitHub https://github.com/Delphine0379/text_classification/blob/master/a02_TextCNN/p7_TextCNN_predict.py加入数据 ，数据可以从我的下载页面找到。格式为 [sentence,label],sentence是id的list，label是1或0测试# -*- cod...原创 2019-03-29 14:46:08 · 2030 阅读 · 2 评论 -
TensorFlow 情感分析句子分类RNN循环神经网络代码（附带数据）
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport nltkimport pandas as pdfrom collections import Counterimport numpy as npMAX_FEATURES = 150MAX_SENTENCE_L...原创 2019-03-21 16:07:58 · 1031 阅读 · 3 评论 -
TensorFlow RNN循环神经网络代码nlp句子分类例子（非图像识别）
关键词：非图像识别，RNN，TensorFlow，代码，句子分类，NLP、【注意】这是一个测试数据没有实际意义，所以需要实际数据的请看我的其他博客里有说明有问题的留言问我就好。最近在看RNN的句子分类，发现网上的代码各种讲解不清楚，于是花了点时间试了试改了改网上的代码，总算对TensorFlow下的RNN有一个了解。机器学习三大关键点，数据格式，loss定义，网络结构。我们在...原创 2019-03-21 13:17:24 · 682 阅读 · 4 评论 -
最简洁推导求解最小二乘法（线性回归，监督学习）
我们知道当X 为m*n的矩阵 输入，Y为m*1的输出。那么为了求出wXw = Y，我们可以用线性回归并让 预测值和真实值的差的平方最小，那么w证明过程：矩阵结构为：我们发现yTy是一个常数，也就是说在最小化loss的时候，我们可以不管yTy。我们对loss函数进行偏微分，这里用到了一个矩阵微分公式，在matrix cookbook里有.第10页。aTw 就微分为a了 。第11页wTBw就微分为 （...原创 2018-06-29 11:09:12 · 1134 阅读 · 0 评论 -
【监督学习】第一课（机器学习，人工智能，线性回归）
为了梳理在大学学到的知识，我把slide重新看一遍并附上自己实现的python代码，各位同学同行请多多指教。课件来自某英国G5大学课程Supervised learning 一共9个课件。监督学习问题：什么是监督学习呢？课件上的定义：Given a set of input /output pair we wish to compute the functional relationship be...原创 2018-06-14 00:01:50 · 593 阅读 · 0 评论 -
【监督学习】第二课（机器学习，核函数，正则）
这里是监督学习第二课！参考书目，chapter 2 and 3 of kernel methods for Pattern analysisOverview 概述我们会展示线性方法是如何被拉到一个更高的维度空间，然后提供非线性回归。特征映射就是一个把输入映射到新空间的映射这样我们就可以让这个方法相对于原输入非线性，对于映射后的特征线性。直接的特征映射也叫 基底函数方法隐性的特征映射也叫核映射。我上...原创 2018-06-18 03:48:14 · 587 阅读 · 1 评论 -
【监督学习】第四课（分类算法，svm理论）
监督学习第四，五周：因为有一周是lab课所以第四课实际上是第五周的内容。 本课件26页，典型的高压课件！所有复杂的理论就在这26页中全部展示。我会尽量让大家跟随教授的思路并享受到直观的算法思想。 1，具有分离数据功能的超平面前面的课程说过，所谓的分类问题的解就是一个函数，这个函数能够接受数据输入，产生分类结果的输出。而在一个空间中，我们则是要找到一个界限，这个界限可以将...原创 2018-06-25 16:42:47 · 1747 阅读 · 0 评论 -
【监督学习】第五课高斯过程（gussian process，最大后验，岭回归）（上）
这一课基本上就回忆了一下前面的各种regression ，然后和传统统计与贝叶斯思想联系起来。还是线性回归对于一个线性系统Xw = y假设y为观测值，那么观测值 为 真实值和噪音的和。y = Real + noise加入正则化那么现在对w求解，使用最小二乘法，满足预测值与观测值得平方差最小。也就是他们的差的向量（y - Xw）的dot product 点积。对偶写法求出w和α的关系，把W用α表示。...原创 2018-07-01 17:50:10 · 2333 阅读 · 0 评论 -
使用tensorflow导入已经下载好的mnist数据集()
import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist_data_folder="/home/socialbird/Downloads/MNIST_data"mnist=input_data.read_data_sets(mnist_data_folder,one_hot...原创 2018-07-16 17:24:57 · 7277 阅读 · 0 评论 -
【监督学习】第八课 树型学习方法与集成方法（Adaboost，回归树，分类树，bagging）
这节课讲的是各种树相关的学习算法或模型，以及它们是如何集成的。树方法试图将空间分割成长方形集合，然后在这些长方形上拟合一个模型。其中Rn表示一个 区域，region。也就是一个长方形。这些长方形彼此没有交集，共同构成整个空间。I函数则表示对或错。如果x属于Rn，那么I的值为1，否则为0.而cn代表自然选择。也就是在Rn区域中所有y的平均值。利用单阈值，我们可以对某个属性值进行切割，将一个平面分成两...原创 2018-07-15 17:52:29 · 1176 阅读 · 1 评论 -
【监督学习】第六课习得理论（learning theory）
这里是监督学习第六课，需要看其他课的请点击我的文章列表！ 统计学习模型：如何学习一个模型呢？通过定义联立分布P(X，y)，我们可以用积分得到模型函数的期望误差expected error。其中V函数为loss function，损失函数，参数为观测y和预测y。而让这个期望误差最小的时候，我们就得到了在给定数据下的最优解，可惜的是，分布是固定但未知的，所以我们无法得到最优...原创 2018-08-14 22:06:51 · 806 阅读 · 0 评论 -
【监督学习】第三课（机器学习，折半算法，专家算法，感知机perceptron，Winnow，在线学习）
这里是监督学习第三课，长期更新，求关注！ 前两课分别讲了监督学习最简单（普遍）的算法，线性回归，以及knn和常见的问题以及解决方式。对于线性回归的计算复杂度优化由mn两个参数决定。根据他们的相对大小选择更好的求解公式（预测） 这一课跟前面不一样，前面我们是给出X 输入，求Y，通过预先计算X和Y的关系，这一课我们没有X，只有Y。由Y预测Y。 这就是在线学习。下面详细展...原创 2018-06-21 04:15:41 · 2526 阅读 · 5 评论