深度学习与tensorflow
文章平均质量分 80
Macropodus
最后一次为理想而战。安知南山桂,绿叶垂芳根。何须浅碧深红色,自是花中第一流。
展开
-
闲聊机器人实例四:python实现小姜机器人,BERT检索模型,新增一个余弦相似度Cosine层, 解决BERT句向量编码传输耗时问题。部署tf-serving
BERT检索模型,新增一个余弦相似度Cosine层, 解决BERT句向量编码传输耗时问题。部署tf-serving业务需求BERT向量召回问答对, FAQ标准问答对数据量不大不能把BERT编码部署于网络服务, 如http请求的形式, 因为网络传输耗时, 此外传输的数据量还很大768(维度)*32(float)几乎所有的模型服务只能用cpu, 硬盘、内存都还可以响应要求高, 小时延不能太高代码逻辑首先将FAQ标准问答对生成句向量, bert-sentence-encode;将句向量当成一原创 2021-09-17 18:40:55 · 698 阅读 · 0 评论 -
中文短文本分类实例二-FastText(Bag of Tricks for Efficient Text Classification)
一. 简介 FastText(Bag of Tricks for Efficient Text Classification)是Facebook AI Research提出的一种神经网络结构,它是一个简单而又高效的线性分类模型,能够在很短的时间内实现海量文本分类,支持亿万数据量。 并且,facebook已经用C++优雅实现了fasttext,内置了很多tricks,...原创 2019-06-15 02:21:09 · 2084 阅读 · 6 评论 -
中文短文本分类实例一-TextClassification概述综述(一般步骤流程、概论和归类、调参和tricks)
一、概述 中文短文本分类任务(text classification of short or long sentence)是自然语言处理NLP中的一个特别重要的任务,简单来看,生活中常见的新闻分类、情感分类、邮件分类、领域意图分类<接触的最多>、舆情分析、论文分类等,都离不开文本分类;往复杂里说,文本分类任务是词性标注与分词、相似度计算与排序、实体提取与关系抽取、位置...原创 2019-06-15 02:19:54 · 5850 阅读 · 2 评论 -
中文短文本分类实例三-TextCNN(Convolutional Neural Networks for Sentence Classification)
一.概述 TextCNN(Convolutional Neural Networks for Sentence Classification)by Yoon Kim作为CNN在NLP文本分类任务上的经典之作,诞生于深度学习和卷积神经网络成为图像任务明星的2012年之后的2014年,让人不得不感慨时势的神奇。 TextCNN提出的目的在于,希望将CNN在图像领域...原创 2019-06-16 23:41:46 · 4074 阅读 · 0 评论 -
中文短文本分类实例六-DCNN(A Convolutional Neural Network for Modelling Sentences)
一.概述 DCNN(A Convolutional Neural Network for Modelling Sentences)by NalKalchbrenner等,又是文本分类论文的一力作。"准确表达句子的语义是语言理解的核心",通过学习机器学习和TextCNN,我们可以知道n-gram特征是NLP文本任务和句子表达的一种重要方法。TextCNN通过不同步长的卷积核(例如2...原创 2019-06-21 00:56:13 · 4569 阅读 · 2 评论 -
中文短文本分类实例七-DPCNN(Deep Pyramid Convolutional Neural Networksfor Text Categorization)
一.概述DPCNN(Deep Pyramid Convolutional Neural Networksfor Text Categorization),是RieJohnson等提出的一种深度卷积神经网络,可以称之为"深度金字塔卷积神经网络"。 在DPCNN的工作之前,研究者们认为,word-level词级embedding优于char-level字级(严格意...原创 2019-06-22 11:25:43 · 4685 阅读 · 0 评论 -
中文短文本分类实例八-VDCNN(Very Deep Convolutional Networks for Text Classification)
一.概述VDCNN(Very Deep Convolutional Networks for Text Classification)by Alexis, 2017.1,真的是一个非常深度的卷积神经网络,论文中给出的实现有9 layer,17 layer, 29 layer 以及49 layer,真的是很非常深了。 深度CNN神经网络可以从低到高,从简单到复杂地...原创 2019-06-23 12:12:27 · 2615 阅读 · 0 评论 -
中文短文本分类实例九-CRNN(A C-LSTM Neural Network for Text Classification)
一.概述CRNN(A C-LSTM Neural Network for Text Classification),是Chunting Zhou等提出的一种联合CNN和RNN的优点的混合神经网络,可称之为"卷积-递归"神经网络。 不同于RCNN先对文本句子上下文本信息、以及word-embedding本身特征的提取,CRNN中的CNN可以看成另外一种形式的句子信...原创 2019-06-24 10:22:42 · 2195 阅读 · 11 评论 -
中文短文本分类实例十-DeepMoji(Using millions of emojio ccurrences to learn any-domain representations for...)
一.概述DeepMoji(Using millions of emojio ccurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm),是Bjarke Felbo等提出的一种联合Bi-LSTM和Attention的混合神经网络,对表情符号的情绪识别棒,当...原创 2019-06-26 22:54:27 · 1648 阅读 · 0 评论 -
中文短文本分类实例十二-HAN(Hierarchical Attention Networks for Document Classification)
一.概述HAN(Hierarchical Attention Networks for Document Classification),层次化注意力机制等,是Zichao Yang等2016年提出的一种新型文本分类模型。它主要使用词(字)语级别,和句子级别的注意力机制Attention,构建文本特征表示,层次化文本(即字、词、句子),十分符合人类直觉,也是近年来图像、NLP等...原创 2019-07-24 00:03:46 · 3197 阅读 · 2 评论 -
中文短文本分类实例十一-CapsuleNet胶囊网络(Dynamic Routing Between Capsules)
一.概述CapsuleNet(Dynamic Routing Between Capsules),胶囊网络,是Hinton等提出的新型图像人工神经网络模型,它主要解决了图像领域中maxpooling等信息丢失(比如说相对位置信息丢失的问题等)。 在图像处理领域,conv卷积层等提取图像初级特征,pooling层(最大池化、平均池化、k-max池化等)进行特征筛...原创 2019-07-19 23:00:37 · 3364 阅读 · 2 评论 -
中文短文本分类实例五-RCNN(Recurrent Convolutional Neural Networks for TextClassification)
一.概述 RCNN不同于TextCNN和charCNN,论文Recurrent Convolutional Neural Networks for TextClassification中的RCNN是一个RCNN(rnn-cnn)结构,论文地址:Recurrent Convolutional Neural Networks for TextClassification ...原创 2019-06-15 02:22:40 · 1682 阅读 · 0 评论 -
中文短文本分类实例四-charCNN-kim(Character-Aware Neural Language Models)
一.概述 charCNN不同于TextCNN,不同语言级别(字符级char-level、词级word-level、句子级sentence-level)对应不同的策略,论文Character-Aware Neural Language Models(Yoon Kim)可以看成CRNN(cnn-lstm)结构,论文地址:Character-Aware Neural Langu...原创 2019-06-15 02:22:11 · 2002 阅读 · 3 评论 -
tensorflow1.2中出现错误问题AttributeError: module 'tensorflow.contrib.rnn' has no attribute 'BasicLSTMCell'
(1) AttributeError: module 'tensorflow.contrib.rnn' has no attribute 'BasicLSTMCell'原因是没有BasicLSTMCell,tensorflow1.2.1中改了函数位置改为tf.nn.rnn_cell.BasicLSTMCell(num_hidden, forget_bias=1.0) 就好 (2)Attrib...原创 2018-04-24 13:17:15 · 5327 阅读 · 0 评论 -
tensorflow1.8错误汇总(近期)
1.20180621:tuple<class tuple>:arrary格式获取2.20180622:InvalidArgumentError (see above for traceback): In[0] is not a matrix,一维函数不支持 The error message gives a clue to the problem: neither W nor x1...原创 2018-07-05 17:22:48 · 1057 阅读 · 0 评论 -
bert中文分类实例win10
bert分类实例,在本地win10下我的bert分类项目地址(有数据,本地win10可运行):https://github.com/yongzhuo/bert,但是预测调用好像不方便,我另外一个项目bert分类实例,可predict,很方便:https://github.com/yongzhuo/nlp_xiaojiang/tree/master/ClassificationText/be...原创 2019-01-10 10:42:01 · 5533 阅读 · 12 评论 -
bert中文分类(win10)报错: ResourceExhaustedError:OOM when allocating tensor of shape [21128,768] and type
报错: ResourceExhaustedError:OOM when allocating tensor of shape [21128,768] and type float今天跑bert分类训练的时候遇到的bug我的bert分类项目地址(有数据,本地win10可运行):https://github.com/yongzhuo/bert我另外一个项目bert分类实例,可predict...原创 2019-01-10 10:19:16 · 5306 阅读 · 14 评论 -
超短文本分类(中文转拼音)(24个字)char_CNN_text_classification_Chinese2Pinyin
本文在基于字符的卷积神经网络实现文本分类(char-level CNN)-论文详解及tensorflow实现博文基础上,测试实现中文超短文本转拼音xpinyin,再用char-level CNN分类处理,主要代码也是用他们的。原理实现论文为Text Understanding from Scratch和Character-level Convolutional Ne...原创 2018-07-05 16:37:25 · 1623 阅读 · 1 评论 -
tensorflow1.8+anaconda+cudn9+cudnn7+python3.5下载安装windows下
参考:win10+vs2017+python3.6+tensorflow1.8-gpu+cudnn 安装及使用遇到的问题: https://blog.csdn.net/lsjweiyi/article/details/803412631.首先是anaconda下载安装,现在是3.4.4版本了,直接百度anaconda,第一个就是官网点进去,点第一个下...原创 2018-05-28 22:55:46 · 2656 阅读 · 0 评论 -
从原始文本到tensorflow1.4代码实现(一)线性回归(Linear Regression,LR)入门
从原始文本到tensorflow1.4代码实现(一)线性回归(Linear Regression,LR)前言: 线性回归算是比较容易理解和实现的机器学习算法了,初中x与y的函数关系: y=ax+b就是她的一个特例,只是在这里,a,b参数都是标量,x与y也是标量,现在,我们常用的就是使用矩阵W、Y或者张量W、Y来拓展它,从某种意义上来说,标量也是一种张量,只是特殊情况罢了。文绉绉...原创 2018-05-26 03:06:20 · 1314 阅读 · 0 评论 -
闲聊机器人实例一:python实现小姜机器人chatbot_xiaojiang聊天(概述)
小姜机器人、python、tensorflow、chatbot、dialog、检索式、生成式、聊天、闲聊、对话、问答、多轮、单轮、开放、封闭、任务、垂直等等描述,都属于自动问答领域。而且已经有了比较大的应用,常见的智能手机助手、聊天机器人、智能客服......一.分类 1. 依照应用场景的不同,Chatbot可以分为开放域chatbot和封闭域chatbot,也...原创 2019-04-20 17:28:50 · 4122 阅读 · 0 评论 -
bert中文短文本句向量生成、相似度计算(GPU版、windows、win10、linux、django和flask可用)
BERT句向量GPU线上调用等。出现Floating point exception and SystemError: error return without exception set 。 最近上线需要用到bert,走过了很多坑,有的甚至是不知道怎么回事,而且也很容易从解决一个问题,跳到另外一个问题,巨坑呀有木有。https://github.com/hanx...原创 2019-05-12 09:24:48 · 7922 阅读 · 17 评论 -
BERT文本分类实践Keras
项目中,BERT文本二分类或者多分类,总感觉效果难言理想的样子。使用了keras-bert包。概述: 问题一: tf版bert分类似乎太重,训练、预测很不方便,要定义类什么的,很难看。 问题二: 使用bert分类,如果文本太长,速度超级慢,而且预训练好的简版模型微调最大长度只有512,两个句子时候也一样, ...原创 2019-05-28 22:38:42 · 10472 阅读 · 43 评论 -
tensorflow原理(四)读tensorflow实现RNN、word2vec遇到的bug有感
在学习Tensorflow上的实现基于LSTM的语言模型的时候,TensorFlow实战:Chapter-7上(RNN简介和RNN在NLP应用) url:https://blog.csdn.net/u011974639/article/details/77377784(一)出现No module named 'tensorflow.models.tutorials'的问题:将f...原创 2018-04-09 15:48:58 · 914 阅读 · 0 评论