柳杰的博客

文章目录引言一、Seq2eq+Attention于机器翻译中的原理以及及attention的计算二、评价指标bleu1.bleu指标实现2.nltk中的bleu三、基于Seq2eq+Attention的机器翻译实战引言  利用PyTorch实现Seq2eq+Attention的模型，并且利用bleu评价指标评价语言生成的好坏。一、Seq2eq+Attention于机器翻译中的原理以及及attention的计算  在机器翻译中，输入是A语言，输出是B语言，A语言是Encoder的输入，B语言是Deco

文章目录一、文本情感分析简介二、文本情感分类任务1.基于情感词典的方法2.基于机器学习的方法三、PyTorch中LSTM介绍]四、基于PyTorch与LSTM的情感分类流程这节理论部分传送门：NLP学习—10.循环神经网络RNN及其变体LSTM、GRU、双向LSTM一、文本情感分析简介  利用算法来分析提取文本中表达的情感。 分析一个句子表达的好、中、坏等判断，高兴、悲伤、愤怒等情绪。如果能将这种文字转为情感的操作让计算机自动完成，就节省了大量的时间。对于目前的海量文本数据来说，这是很有必要

文章目录引言一、项目的描述与目标二、项目框架三、文本预处理与特征工程1. 文本预处理2. 特征工程2.1 基于词向量的特征工程2.2 基于人工定义的特征四、三个任务1.project12.project23. project3项目环境配置如下：jieba 0.42.1lightgbm 3.2.1scikit-learn 0.24.2scikit-multilearn 0.2.0gensim 3.8.3引言  “看病慢看病难”早已成为当今社会的常见现象，因此随着技术的发展，Al+医疗是

文章目录引言二、项目环境配置二、数据集介绍三、代码介绍四、测试1.代码执行流程引言  这一节学习BERT模型如何在句子分类任务上进行微调。项目代码框架如下：争取做到每一行代码都有注释！！！二、项目环境配置python>=3.6torch==1.6.0transformers==3.0.2seqeval==0.0.12二、数据集介绍  该项目使用的是mrpc数据集，该数据集由微软发布，判断两个给定句子，是否具有相同的语义，属于句子对的文本二分类任务；有的句子对是同义的，表示为1

文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码执行流程2. 预测流程引言  这一节学习BERT模型如何在句子分类任务上进行微调。项目代码框架如下：争取做到每行代码有注释！！！一、项目环境配置python>=3.6torch==1.6.0transformers==3.0.2seqeval==0.0.12pytorch-crf==0.7.2二、数据集介绍TrainDevTestIntent LabelsATIS4,47

文章目录引言引言  关系分类任务在信息抽取中处于核心地位。关系分类任务就是从非结构化文本中抽取出结构化知识；具体为：区分出头实体与尾实体之间的语义关系，比如：通过模型将头实体与尾实体的语义关系分类分出来。那么BERT模型如何应用在关系分类任务当中呢？关系分类模型的架构有多种选择：第一种实现方式：将BERT模型应用于句子的向量表征，不管实体位于句子当中的哪个位置，仍然将句子分词，首尾加上[CLS]与[SEP]，将[CLS]的向量表征拿出来，输入到分类器中，这个分类器输出关系预测类型上的打分。第

文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码运行流程2.运行结果3.预测引言  这一节学习BERT模型如何在ner任务上进行微调。项目代码框架如下：争取做到每一行代码每一行注释！！！一、项目环境配置python>=3.6torch==1.6.0transformers==3.0.2seqeval==0.0.12pytorch-crf==0.7.2二、数据集介绍TrainDevTestSlot (NER) LabelsA

文章目录引言一、问答系统任务介绍1. 模块介绍2. 数据介绍3. 项目工具介绍二、搭建问答系统1. 文本读取2. 可视化分析3. 文本预处理3.1 无用符号过滤3.2 停用词过滤3.3 去掉低频率的词3.4 处理数字3.5 其他辅助函数3.6 文本预处理流程引言  下面展示对话系统框架：从框架方面，对话系统可以分为问答系统与多轮对话系统。本文着重讲解基于检索形式的问答系统。问答系统又包括结构化的问答系统与非结构化的问答系统。其中涉及的技术包括信息检索与语义匹配技术。涉及到的算法有TF-IDF算法、J

文章目录引言一、评论预处理1.评论去重2.数据清洗二、评论分词1.分词、词性标注、去除停用词2.提取含名词的评论3.绘制词云查看分词效果三、构建模型1.评论数据情感倾向分析1.1 匹配情感词1.2 修正情感倾向1.3 查看情感分析效果引言  本文主要针对用户在电商平台上留下的评论数据，对其进行分词、词性标注和去除停用词等文本预处理。基于预处理后的数据进行情感分析，并使用LDA主题模型提取评论关键信息，以了解用户的需求、意见、购买原因及产品的优缺点等，最终提出改善产品的建议。定义如下挖掘目标：对京东