深度学习与自然语言处理
文章平均质量分 96
该专栏聚焦深度学习与自然语言处理技术,涵盖从基础理论到前沿应用,旨在为读者提供实用见解与最新趋势。
多吃轻食
一个喜欢晚上加班的社畜
展开
-
SentencePiece进行文本分类
并没有对应的词向量文件,看来还需要对这些词进行词嵌入训练,还是用fasttext好了。30之后连同嵌入层一起微调10轮,准确率又上去了一个百分点。生成了两个文件,一个是模型文件,一个是词表文件。id 和 词向量都有了,可以构造词嵌入矩阵了。训练(我弄的是12800 词汇表大小)酒店评论数据集,处理成每行一句的形式。效果:基本收敛到了 96%原创 2024-09-25 20:46:28 · 324 阅读 · 0 评论 -
人工智能与自然语言处理发展史
在人工智能发展了60多年后,机器虽然可以在某些方面超越人类,但想让机器真正通过图灵测试,具备真正意义上的人类智能,这个目标看上去仍然遥遥无期。原创 2024-09-24 01:27:29 · 994 阅读 · 0 评论 -
细说NLP中的Embedding层
在构建高效的自然语言处理模型时,Embedding层是不可或缺的组成部分。它不仅可以帮助我们捕获词汇之间的语义关系,还能提高模型的性能。在本篇博客中,我们将详细介绍Embedding层的基本原理、使用方法以及它在深度学习框架中的实现,帮助你更好地理解和应用这一技术。原创 2024-06-07 12:26:36 · 1173 阅读 · 0 评论 -
神经网络与深度学习--网络优化与正则化
神经网络调参是深度学习中不可或缺的一环,它直接影响着模型的性能和泛化能力。当前神经网络模型应用到机器学习时仍有一些问题,主要包括两大类。优化问题深度神经网络优化十分困难。首先他的损失函数是一个非凸函数,找到局部最优解容易,但找到全局最优解并非容易。其次,神经网络参数非常多,训练数据很大,所以无法使用计算代价很高的二阶优化方法。最后,神经网络存在梯度消失或爆炸问题。泛化问题由于神经网络复杂度很高,拟合能力很强,很容易在训练集上过拟合。因此要考虑一定的正则化方法来改进网络泛化能力。原创 2024-05-01 08:48:29 · 2435 阅读 · 0 评论