tf.keras.layers.TextVectorization层介绍及自定义分词器

最新推荐文章于 2024-02-07 09:20:10 发布
最新推荐文章于 2024-02-07 09:20:10 发布
阅读量745 收藏
点赞数
分类专栏： tensorflow2.x NLP 推荐 文章标签： tensorflow Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sslfk/article/details/128568594
版权
tensorflow2.x 同时被 3 个专栏收录
39 篇文章 0 订阅
订阅专栏
NLP
29 篇文章 2 订阅
订阅专栏
推荐
17 篇文章 1 订阅
订阅专栏

首先上代码：

@tf.keras.utils.register_keras_serializable('my_package')
def mysplit(inputs):
    return tf.strings.split(inputs)
input3 = tf.keras.layers.Input(shape=(1,),name="string_test",dtype=tf.string)
my_string_lookup = tf.keras.layers.TextVectorization(vocabulary=["世界","你","good", "d"],split=mysplit)(input3)
model = tf.keras.Model(inputs=[input3], outputs=my_string_lookup)
model.save("mytest.h5")
my_model = tf.keras.models.load_model("mytest.h5")
print(my_model.predict(["世界 你 good ya"]))

  1. TextVectorization是相对于StringLookup更为复杂的文本处理层，除了支持StringLookup对词库的各种编码方式（indices、one-hot、tf-idf、count）外，还支持对构造词库和请求内容时的标准化、自动分词、去除标点服务、去重多余空格等处理。

  1. 其中标准化、自动分词都可以通过自定义方式进行处理，但是自定义的处理算子需要进行序列化装饰器进行装饰：tf.keras.utils.register_keras_serializable

下一篇文章会给大家介绍关于如何通过StringLookup或TextVectorization的indices方法进行快速的embedding：tf.nn.embedding_lookup

会发paper的学渣
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
政安晨：【Keras机器学习示例演绎】（四十四）—— 使用序列到序列转换器实现英语到西班牙语的翻译
政安晨——致力于AI人工智能数字互动领域
05-14 729
本文目标：实现序列到序列转换器，并在机器翻译任务中对其进行训练。 在本例中，我们将建立一个序列到序列 Transformer 模型，并在英语到西班牙语的机器翻译任务中对其进行训练。
保姆级教程：手把手教你使用深度学习处理文本
m0_59596937的博客
12-10 1709
大家好，今天给大家分享使用深度学习处理文本，更多技术干货，后面会陆续分享出来，感兴趣可以持续关注。
tf.keras.layers.TextVectorization 示例
weixin_44493841的博客
12-10 4039
将文本要素映射到整数序列的预处理图层。 将不同长度的文本，转换成相同长度的数组 import tensorflow as tf text_layer = tf.keras.layers.TextVectorization( max_tokens=5000, # 词汇表最大尺寸 output_mode='int', # 输出整数索引 ) # 创建 TextVectorization 层 print(text_layer) <keras.layers.preprocessing
介绍自然语言处理（NLP）中的文本处理—TensorFlow
weixin_44733966的博客
02-07 1075
智能机器不仅能看到世界，还能理解我们并与我们交谈。​这一点也不夸张，其中虚拟助手互动，比如Siri、亚马逊Alexa和谷歌助手。在许多软件应用程序和网站上，我们与成千上万的聊天机器人进行互动。自然语言处理是一个跨学科的领域。它是计算机科学、机器学习和计算语言学的一个分支，涉及赋予计算机理解文本和人类语言的能力。NLP中常见的任务下面是一些可以用NLP完成的常见任务。文本分类情绪分析文本生成机器翻译语音识别文本到语音的转换光学字符识别自然语言处理的应用实例。
中文影评分类的神经网络模型
qq_57390446的博客
04-10 344
本文旨在利用Tensorflow训练一个中文影评二分类神经网络
TensorflowSimilarity学习笔记9
m0_59345023的博客
12-27 532
2021SC@SDUSC 代码位置：similarity/distances.py at master · tensorflow/similarity · GitHub @tf.keras.utils.register_keras_serializable(package="Similarity") class EuclideanDistance(Distance): """Compute pairwise euclidean distances between embeddings.
中文评论情感分类——RNN模型
qq_57390446的博客
04-13 1788
利用TensorFlow训练一个中文文本情感二分类的RNN模型，涉及了LSTM算法
深度学习入门示例之使用keras+tf实现Attention注意力机制.zip
最新发布
05-10
Keras的`add()`方法可以用来添加自定义层，这将需要实现`call()`函数来定义注意力机制的计算过程。 3. **训练模型**：设置合适的优化器（如Adam）、损失函数（如交叉熵）和评估指标，然后通过`model.compile()`进行...
keras 中文文档，快速学习分享
06-04
### Keras中文文档知识点概述 #### 一、Keras简介 Keras是一个开源神经网络库，用Python语言编写，能够作为TensorFlow等后端的高级API。它支持快速实验，用户友好，模块化且易于扩展。Keras的核心优势在于其高度的...
tf_nlp.zip
04-12
在TensorFlow中，我们可以使用`tf.keras.layers.Embedding`层来创建词嵌入模型，它能够学习词汇表中每个词的低维表示，使得语义相近的词在空间上接近。这种表示方式对于理解和处理文本数据非常有用，因为它捕捉到了...
seq2seq的keras示例，自动标题_Python_下载.zip
04-22
Keras中的Seq2Seq模型可以使用`tf.keras.models.Sequential`或者`tf.keras.layers.RNN`等模块构建。编码器通常使用双向LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit）层，因为它们能够捕获序列的长期...
Python-面向文本分类的经典向量化方法实现与比较
08-12
Text vectorization tool to outperform TFIDF for classification tasks
机器学习——文本预处理（基于TensorFlow）
yasin的技术博客
02-01 3621
文本预处理步骤 1. 标准化文本 对输入的文本进行统一的标准化，比如去掉文本中的HTML标签，或者去掉标点符号，或者大写转小写等，执行统一的标准化有助于后续的处理，比如分词。 下面对一段文本进行处理，去掉HTML标签，并将大写转为小写如下 标准化前：<p>I'm a boy, I like ML.</p> 标准化后：i'm a boy, i like ml. 2. 将文本切分成更小的单元（分词） 我们已经有了标准化后的句子了，但在将数据输入进神经网络模型之前，还需要做一些事情，即将
keras训练出现IndexError: tuple index out of range
weixin_40779727的博客
10-23 2188
我报该错误是因为： triplet_loss = Lambda(self.cal_triplet_loss, name="triplet")(feature) sim_model.compile(optimizer=optimizer, loss={ "triplet": lambda y_true, y_pred: y_pred, "output": "sparse_categ
【keras】 实现递归神经网络
gugu_best的博客
10-04 641
Keras是一个简单易用但功能强大的Python深度学习库。这个面向初学者的三篇系列文章为任何人提供了一种简单的方法来开始解决实际的机器学习问题。在深入研究两个流行的变体：递归神经网络（RNN）和卷积神经网络（CNN）之前，我们将为初学者介绍经典且完整的神经网络。 01 下载数据集 下载后会得到类似的一个结构数据 接着再安装tensorflow pip install tensorflow Tensorflow有一种非常简单的方式让我们读取数据集：text_datas...
【tensorflow2.0】46.文本数据建模流程实例（总复习）
weixin_39122088的博客
07-13 589
    imdb数据集的目标是根据电影评论的文本内容预测评论的情感标签。训练集有20000条电影评论文本，测试集有5000条电影评论文本，其中正面评论和负面评论都各占一半。     文本数据预处理较为繁琐，包括中文切词（本示例不涉及），构建词典，编码转换，序列填充，构建数据管道等等。     在tensorflow中完成文本数据预处理的常用方案有两种，第一种是利用tf.keras.preprocessing中的Tokenizer词典构建工具和tf.keras.utils.Sequence构建文本数据生成器管
TF2.0 文本分类的基本方法
kylin@world
10-11 1577
本文整理自 TF2.0 官方教程 (https://www.tensorflow.org/tutorials/keras/text_classification) 本文的示例为使用 IMDB 的评论数据来做情感分类（sentiment analysis）： 数据源地址：https://ai.stanford.edu/~amaas/data/sentiment/aclImdb_v1.tar.gz 1. 加载数据集 使用 tf.keras.preprocessing.text_dataset_from_dire
30天干掉tensorflow2.0-day03
Elenstone的博客
04-07 789
文本数据建模流程范例 一，准备数据 imdb数据集的目标是根据电影评论的文本内容预测评论的情感标签。 训练集有20000条电影评论文本，测试集有5000条电影评论文本，其中正面评论和负面评论都各占一半。 文本数据预处理较为繁琐，包括中文切词（本示例不涉及），构建词典，编码转换，序列填充，构建数据管道等等。 在tensorflow中完成文本数据预处理的常用方案有两种，第一种是利用tf.keras.p...
import jieba import pynlpir import numpy as np import tensorflow as tf from sklearn.model_selection import train_test_split # 读取文本文件 with open('1.txt', 'r', encoding='utf-8') as f: text = f.read() # 对文本进行分词 word_list = list(jieba.cut(text, cut_all=False)) # 打开pynlpir分词器 pynlpir.open() # 对分词后的词语进行词性标注 pos_list = pynlpir.segment(text, pos_tagging=True) # 将词汇表映射成整数编号 vocab = set(word_list) vocab_size = len(vocab) word_to_int = {word: i for i, word in enumerate(vocab)} int_to_word = {i: word for i, word in enumerate(vocab)} # 将词语和词性标记映射成整数编号 pos_tags = set(pos for word, pos in pos_list) num_tags = len(pos_tags) tag_to_int = {tag: i for i, tag in enumerate(pos_tags)} int_to_tag = {i: tag for i, tag in enumerate(pos_tags)} # 将文本和标签转换成整数序列 X = np.array([word_to_int[word] for word in word_list]) y = np.array([tag_to_int[pos] for word, pos in pos_list]) # 将数据划分成训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # 定义模型参数 embedding_size = 128 rnn_size = 256 batch_size = 128 epochs = 10 # 定义RNN模型 model = tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_size), tf.keras.layers.SimpleRNN(rnn_size), tf.keras.layers.Dense(num_tags, activation='softmax') ]) # 编译模型 model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy']) # 训练模型 model.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_data=(X_test, y_test)) # 对测试集进行预测 y_pred = model.predict(X_test) y_pred = np.argmax(y_pred, axis=1) # 计算模型准确率 accuracy = np.mean(y_pred == y_test) print('Accuracy: {:.2f}%'.format(accuracy * 100)) # 将模型保存到文件中 model.save('model.h5')出现下述问题：ValueError: Found input variables with inconsistent numbers of samples:
06-07
根据您提供的代码和错误信息，问题出在将分词后的文本和标签转换成整数序列时，训练集和测试集的样本数量不一致。这是由于您在分割数据集时，只对特征数据进行了分割，而标签数据没有进行相应的分割，导致训练集和测试集的标签数量不一致。 为了解决这个问题，您可以将训练集和测试集的特征数据和标签数据一起进行分割，代码如下： ```python X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` 其中，X是特征矩阵，y是目标量，test_size参数指定分割的测试集占总数据集的比例，random_state参数用于确定数据集分割的随机种子，以确保每次分割的结果相同。 修改后的完整代码如下： ```python import jieba import pynlpir import numpy as np import tensorflow as tf from sklearn.model_selection import train_test_split # 读取文本文件 with open('1.txt', 'r', encoding='utf-8') as f: text = f.read() # 对文本进行分词 word_list = list(jieba.cut(text, cut_all=False)) # 打开pynlpir分词器 pynlpir.open() # 对分词后的词语进行词性标注 pos_list = pynlpir.segment(text, pos_tagging=True) # 将词汇表映射成整数编号 vocab = set(word_list) vocab_size = len(vocab) word_to_int = {word: i for i, word in enumerate(vocab)} int_to_word = {i: word for i, word in enumerate(vocab)} # 将词语和词性标记映射成整数编号 pos_tags = set(pos for word, pos in pos_list) num_tags = len(pos_tags) tag_to_int = {tag: i for i, tag in enumerate(pos_tags)} int_to_tag = {i: tag for i, tag in enumerate(pos_tags)} # 将文本和标签转换成整数序列 X = np.array([word_to_int[word] for word in word_list]) y = np.array([tag_to_int[pos] for word, pos in pos_list]) # 将数据划分成训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 定义模型参数 embedding_size = 128 rnn_size = 256 batch_size = 128 epochs = 10 # 定义RNN模型 model = tf.keras.Sequential([ tf.keras.layers.Embedding(vocab_size, embedding_size), tf.keras.layers.SimpleRNN(rnn_size), tf.keras.layers.Dense(num_tags, activation='softmax') ]) # 编译模型 model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy']) # 训练模型 model.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_data=(X_test, y_test)) # 对测试集进行预测 y_pred = model.predict(X_test) y_pred = np.argmax(y_pred, axis=1) # 计算模型准确率 accuracy = np.mean(y_pred == y_test) print('Accuracy: {:.2f}%'.format(accuracy * 100)) # 将模型保存到文件中 model.save('model.h5') ``` 希望这可以帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值