PyTorch搭建循环神经网络（RNN）进行文本分类、预测及损失分析（对不同国家的语言单词和姓氏进行分类，附源码和数据集）

最新推荐文章于 2025-02-03 12:23:43 发布

showswoller

最新推荐文章于 2025-02-03 12:23:43 发布

阅读量4.5k

点赞数 49

分类专栏：深度学习文章标签： pytorch rnn 分类神经网络深度学习

本文链接：https://blog.csdn.net/jiebaoshayebuhui/article/details/127831982

版权

需要源码和数据集请点赞关注收藏后评论区留言~~~

下面我们将使用循环神经网络训练来自18种起源于不同语言的数千种姓氏，并根据拼写方式预测名称的来源。

一、数据准备和预处理

总共有18个txt文件，并且对它们进行预处理，输出如下

部分预处理代码如下

from __future__ import unicode_literals, print_function, division
from io import open
import glob
import os

def findFiles(path): return glob.glob(path)

print(findFiles('data/names/*.txt'))

import unicodedata
import string

all_letters = string.ascii_letters + " .,;'"
n_letters = len(all_letters)

    return ''.join(
        c for c in unicodedata.normalize('NFD', s)
        if unicodedata.category(c) != 'Mn'
        and c in all_letters
    )


for filename in findFiles('data/names/*.txt'):
    category = os.path.splitext(os.path.basename(filename))[0]
    all_categories.append(category)
    lines = readLines(filename)
    category_lines[category] = lines

n_categories = len(all_categories)