代码练习2-26

最新推荐文章于 2023-02-24 13:30:55 发布

阿多要努力学习

最新推荐文章于 2023-02-24 13:30:55 发布

阅读量211

点赞数

本文链接：https://blog.csdn.net/weixin_43780551/article/details/104520042

版权

博客介绍了如何处理数据，包括读取文本、构建词汇表、过滤单词，然后采用Skip-Gram模型进行训练，使用了PyTorch构建神经网络并定义损失函数。在模型部分，展示了如何实现负采样以及训练过程。

摘要由CSDN通过智能技术生成

数据处理部分

assert ‘ptb.train.txt’ in os.listdir("./data/ptb")
with open(’./data/ptb/ptb.train.txt’, ‘r’) as f:
lines = f.readlines()
raw_dataset = [st.split() for st in lines]
counter = collections.Counter([tk for st in raw_dataset for tk in st])
counter = dict(filter(lambda x: x[1] >= 5, counter.items()))
counter.items()
id2token = [tk for tk,_ in counter.items()]
token2id = {tk:id for id,tk in enumerate(id2token)}
dataset = [[token2id[tk] for tk in st if tk in id2token]for st in raw_dataset]
num_token = sum(len(st) for st in dataset)
def discard(idx):
return random.uniform(0, 1) < 1 - math.sqrt(
1e-4 / counter[id2token[idx]] * num_token)
subdataset = [[tk for tk in st if not discard(tk)] for st in dataset]
def compare(tk):
return ‘# %s: before=%d, after=%d’ % (tk
,sum(st.count(token2id[tk]) for st i