Tensorflow & Keras
文章平均质量分 67
介绍TensorFlow和Keras相关基础知识和应用
黄然大悟
写写笔记,聊聊技术,谈谈人生!
展开
-
tensorflow2.0+keras简单实现BERT模型
BERT模型简介BERT主要利用Transformer Encoder部分结合Masked Language Model,训练双向注意力模型应用到语言建模中。BERT模型拆解tensorflow模块导入import numpy as npimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import activationsfrom tensorflow.keras import layersfr原创 2021-02-24 15:27:49 · 3434 阅读 · 3 评论 -
[tensorflow笔记]-tensorflow实现带mask的reduce_mean
在使用tensorflow处理一些tensor时,有时需要对一个tensor取平均,可以使用tf.reduce_mean操作,但是这个没法处理带有mask的tensor数据,本文主要就是利用tensorflow的基本操作实现带mask的平均。tf.reduce_mean比如我们的数据是3维tensor,shape=(B,N,H),B表示batch_size、N表示最大长度、H表示向量维度,这样的3维tensor在NLP相关模型中很常见。# input tensortensor = tf.consta原创 2021-02-24 14:38:07 · 1163 阅读 · 1 评论 -
自然语言处理入门(五)--基于双塔结构的语义匹配模型
语义匹配文本语义匹配一般是计算两端文本之前的语义相关性或相似度,在搜索和自动问答中应用广泛。用深度学习方法解决这类问题一般有两种思路,以搜索中的query和doc为例:一种是query和doc分别学习一个向量表示,最后计算cos相似度;另一种是query和doc先融合,然后接多层网络,最后变成分类问题来优化。详细可参考:《搜索与推荐中的深度学习匹配》之搜索篇本文主要将的是第一种情况,就是所谓的双塔结构。双塔结构双塔结构总体如下图,一般有两个输入,然后分别接一个表示层,表示层输出向量,最后计算两个向原创 2020-09-20 18:15:46 · 3592 阅读 · 0 评论 -
自然语言处理入门(四)--Tensorflow2.0+Keras实现seq2seq+Attention模型的对话系统
这里写自定义目录标题seq2seq模型介绍Keras实现seq2seq模型Encoder部分Decoder部分Encoder和Decoder合并模型详细结构seq2seq模型训练本文主要是利用keras框架记录简单实现seq2seq模型的过程,seq2seq的应用主要有问答系统、人机对话、机器翻译等。seq2seq模型介绍seq2seq模型主要有两个部分Encoder和Decoder,Encoder负责将输入编码,Decoder负责解码输出。最简单的seq2seq模型图:Keras实现seq2se原创 2020-05-17 00:15:27 · 3691 阅读 · 4 评论 -
Keras保存模型的各种方法
这里写自定义目录标题模型图构建训练模型保存模型hdf5格式持久化json格式持久化tf-serving调用的pb格式Keras训练模型有多种保存方法,可以保存为hdf5文件,也可以保存为json格式文件,可以同时保存模型图和权重,也可以单独保存模型图和权重,还可以保存为tensorflow-serving支持的pb格式。下面以一个简单的模型分别来介绍不同的保存方法。模型图构建下面用keras...原创 2019-12-29 17:06:16 · 4918 阅读 · 3 评论 -
Java调用Tensorflow训练模型预测结果
Java调用Tensorflow训练好的模型做预测,首先需要读取词典,然后加载模型,读入数据,最后预测结果。读取词典文件这个词典文件wordIndexMap.txt,就是上一篇对应训练模型之前生成的词典文件。每行一个词和词的编号。// 从文件读取词典文件存入Map private static Map<String, Integer> readVocabFromFile(Str...原创 2018-12-28 21:41:51 · 5606 阅读 · 8 评论 -
使用Tensorflow训练LSTM+Attention中文标题党分类
这里我们用Tensorflow中LSTM模型训练一个标题党的分类模型,并最后用Java调用训练好的模型。数据预处理首先根据语料和实验数据训练词向量word2vec模型,这个有很多教程,这么不再叙述。之后根据训练好的词向量生成我们需要的词典文件。保存的词典map为每行一个词和词的编号。import gensimimport numpy as npdef load_words_embedd...原创 2018-12-28 21:32:39 · 8295 阅读 · 9 评论