自然语言处理
文章平均质量分 95
Yunlord
CSDN博客之星人工智能领域第三名,多年人工智能学习工作经验,一位兴趣稀奇古怪的【人工智能领域博主】!
擅长图像识别、自然语言处理等多个人工智能领域,同时精通python,并且在不断拓展自身领域进行学习,致力于有趣好玩的技术推广和应用!!!
如果有对新奇技术感兴趣的朋友们,欢迎持续关注Yunlord
展开
-
从零开始学NLP(八) 隐马尔科夫模型(超详细)
1 HMM基础PART1: 时间序列数据股票价格,气温、文本PART2: HMM基础HMM作为经典的序列模型,广泛应用在各类AI场景中。其中,HMM的最成名之作可以认为是语音识别领域。在深度学习流行之前,绝大部分语音识别系统都基于HMM模型,也算是经典中的经典了。另外,HMM在文本领域也有着很多的应用如中文分词。除此之外,理解HMM对于后续学习RNN模型来说有着比较大的意义,因为这两者很类似,你可以简单地认为HMM是传统的序列模型,RNN为基于深度学习的序列模型。学习HMM并不简单,其中原创 2021-06-30 17:46:39 · 2018 阅读 · 34 评论 -
从零开始学NLP(七)语言模型
一、语言模型基础1.什么是语言模型语言模型用来判断一句话从语法上是否通顺总结起来的话,语言模型最主要的作用是保证文本的语法结构,得到通顺的语句。语言模型是一种概率统计的方法,已经训练好的语言模型可以对任何一个文本给出概率,概率越高说明语法上越通顺。通过比较两句话在同一个语言模型上的概率,我们就可以得出哪一句话更通顺一些。2.计算语言模型的概率语言模型的目标计算一句话或者一系列单词的概率链式法则:述的条件概率是从语料库中统计出来的,而且语言模型本身是无监督学习,不需要数据标签3原创 2021-06-23 15:35:52 · 3740 阅读 · 2 评论 -
NLP之文本分类实战入门超详细教程
前言该实战任务是对豆瓣评分的预测。在这个项目中,我们通过豆瓣评论预测该电影的评分。给定的输入为一段文本,输出为具体的评分。实际上就是一个文本分类任务。在这个项目中,我们需要做:文本的预处理,如停用词的过滤,低频词的过滤,特殊符号的过滤等 文本转化成向量,将使用三种方式,分别为tf-idf, word2vec以及BERT向量。 训练逻辑回归和朴素贝叶斯模型,并做交叉验证 评估模型的准确率一、数据加载1.加载包首先是加载库,具体这些库函数的作用会在下文使用到的时候说明。#导入数据处原创 2021-06-22 19:25:41 · 10119 阅读 · 18 评论 -
从零开始学NLP(六)词向量技术
前言上一章已经介绍完自然语言处理任务的第一个流程——文本处理,接下来就是如何用计算机明白的语言向量表示文本了,里面包括如何更好的表示单词和句子。一、文本表示基础对于自然语言处理各类应用,最基础的任务就是文本表示。因为我们都知道一个文本是不能直接作为模型的输入的,所以我们必须要先把文本转换成向量的形式之后,再导入到模型中训练。所谓文本的表示,其实就是研究如何把文本表示成向量或者矩阵的形式。1.单词的表示如何表示一个单词,最直观的理解就是用One-hot编码来实现。One-hot表示很容易原创 2021-06-20 21:44:12 · 1192 阅读 · 0 评论 -
NLP之结构化数据分类实战入门超详细教程
目录前言一、数据加载1.加载包2.读取数据二、数据观察 (EDA)1.整体情况1.1.数值型特征基本统计量1.2.非数值型特征基本统计量2.生存率 Y 的信息2.1.生存率与特征关系2.2.Pclass 与生存率的关系2.3.Sex 与生存率的关系2.4.数值型两两线性相关性三、特征工程1.Pclass 特征2.Name 特征2.1 将类别少的称谓替换成 other2.2 转换成 one-hot 特征3.Sex特征4.Ag...原创 2021-06-03 00:12:53 · 2552 阅读 · 5 评论