![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 96
住在天上的云
人工智能领域新星创作者。一直在路上,学习有趣的知识,关注我的朋友们,一起进步呀!
展开
-
【自然语言处理】面向新冠肺炎的社会计算应用
新冠肺炎疫情牵动着我们每一个人的心,在这个案例中,我们将尝试用社会计算的方法对疫情相关的新闻和谣言进行分析,助力疫情信息研究。本次作业为开放性作业,我们提供了疫情期间的社交数据,鼓励同学们从新闻、谣言以及法律文书中分析社会趋势。(提示:运用课上学到的方法,如情感分析、信息抽取、阅读理解等分析数据)原创 2024-07-11 09:10:07 · 975 阅读 · 0 评论 -
【自然语言处理】司法阅读理解
裁判文书中包含了丰富的案件信息,比如时间、地点、人物关系等等,通过机器智能化地阅读理解裁判文书,可以更快速、便捷地辅助法官、律师以及普通大众获取所需信息。本次任务覆盖多种法律文书类型,包括民事、刑事、行政,问题类型为多步推理,即对于给定问题,只通过单句文本很难得出正确回答,模型需要结合多句话通过推理得出答案。分数由两部分组成。首先,读懂已有代码并添加适量注释。使用已有代码在训练数据上进行训练,并且完成开发集评测,这部分占60%,评分依据为模型的开发集性能和报告,报告主要包括对于模型基本原理的介绍,需要同学原创 2024-06-30 14:53:57 · 468 阅读 · 0 评论 -
【自然语言处理】预训练语言模型实现与应用
案例中给出了训练代码train.py与相应的训练流程代码Config.py。下面介绍具体代码架构。自定义数据集类MyDataset类用于封装数据集的加载逻辑,包括初始化数据路径、读取 JSON 和 Numpy 文件,以及实现按索引获取数据项和获取数据集长度的方法。准确率工具类Accuracy类用于跟踪和计算模型预测的准确率。配置类Config类是Config.py核心,封装了模型训练和测试的所有配置参数和方法。__init__原创 2024-06-30 14:52:36 · 543 阅读 · 0 评论 -
【自然语言处理】文本情感分析
特征提取方法训练误差测试误差词袋模型0.01380.2712n-gram模型0.00060.3306词向量模型0.22030.2369从表格可以看出,n-gram模型在训练集上的误差最低,但在测试集上的误差却最高,表明其可能过拟合了训练数据。词袋模型在训练集和测试集上的误差较为平衡,而词向量模型在测试集上的表现最好,尽管其在训练集上的误差较高。性能:词袋模型在训练集上表现很好,但在测试集上有较高的误差,可能存在一定的过拟合。原创 2024-06-04 09:00:00 · 1077 阅读 · 0 评论 -
【自然语言处理】seq2seq模型——机器翻译
可以看到,通过多种改进方式,有效提升了模型能力,最终采用了训练 150000 epoch 轮次的双向GRU编码器,训练结果最好。模型训练...loss曲线如下:模型验证通过predict来测试test.txt文件,前十条数据翻译如下。Original為什麼我一直學不好英語?她讓我坐在她的身邊。這瓶酸奶不含乳糖。這瓶酸奶不含乳糖。我不能幫你了。我不能幫你了。湯姆不是一個好司機。我會普通話、西南官話、吳語和西班牙語。這個問題沒有那麼簡單。他不會說英語也不會說法語。原创 2024-05-07 16:40:57 · 1491 阅读 · 0 评论 -
【自然语言处理】Word2Vec&TranE的实现
Word2Vec是词嵌入的经典模型,它通过词之间的上下文信息来建模词的相似度。TransE是知识表示学习领域的经典模型,它借鉴了Word2Vec的思路,用“头实体+关系=尾实体”这一简单的训练目标取得了惊人的效果。本次任务要求在给定的框架中分别基于Text8和Wikidata数据集实现Word2Vec和TransE,并用具体实例体会词向量和实体/关系向量的含义。原创 2024-04-29 15:32:32 · 667 阅读 · 0 评论