第一章 1、2自然语言处理概论（续）

最新推荐文章于 2024-03-04 23:32:28 发布
最新推荐文章于 2024-03-04 23:32:28 发布
阅读量179 收藏
点赞数
分类专栏： ● 人工智能 # 自然语言处理 NLP 文章标签： 自然语言处理 nlp 知识图谱 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38888209/article/details/104370908
版权
一、NLP的经典应用场景问答系统问答系统：在语料库当中寻找问答对儿形成知识库，然后根据问题相思的语句进行搜索答案。初级实现情感分析两种不同的处理过程。机器翻译自动摘要类似于中学语文学习梗概的写作。聊天机器人以后要做的项目之一。有目的导向性和随机性两个类型。信息抽取信息抽取：相当于淘宝购物下单时候，收件人信息自动填写。...
摘要由CSDN通过智能技术生成

一、NLP的经典应用场景

  1. 问答系统
    在这里插入图片描述

问答系统：在语料库当中寻找问答对儿形成知识库，然后根据问题相思的语句进行搜索答案。初级实现

  1. 情感分析
    在这里插入图片描述
    在这里插入图片描述

两种不同的处理过程。

  1. 机器翻译
    在这里插入图片描述

  2. 自动摘要
    在这里插入图片描述

类似于中学语文学习梗概的写作。

  1. 聊天机器人
    在这里插入图片描述

以后要做的项目之一。有目的导向性和随机性两个类型。

  1. 信息抽取
    在这里插入图片描述

信息抽取：相当于淘宝购物下单时候，收件人信息自动填写。

二、自然语言处理的四个维度

在这里插入图片描述

声音：最底层，这里不过多赘述
单词：底层。包括分词技术、词性标注、命名实体识别等。
句子结构：句法分析、依存分析、每个单词之间的联系。
语义：比较难，用到ML算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

根据词性

在这里插入图片描述

单词和单词之间的关系

在这里插入图片描述

AI_Younger_Man
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[nlp-001] Speech and Language Processing (3rd ed. draft)读书笔记（未完待续）
大数据和机器学习研究
11-17 1583
0. 本书的官网主页 https://web.stanford.edu/~jurafsky/slp3/ ##第1章 留白   ##第2章 正则表达式、文本正则话、编辑距离   regular expression 正则表达式，从文档里抽取指定的字符串。比如，抽取“你是XXX”的姓名，或者 字符串里的价格信息。     text normalization 文本标准化。把文本转化成...
中科院博士论文致谢感人，如果让AI来写又会是怎样
HaaS技术社区的博客
04-20 1014
今天，达摩院发布全球最大规模的 中文文本预训练语言模型——PLUG PLUG的参数规模达270亿 它集语言理解与生成能力于一身 在小说创作、诗歌生成、 智能问答等领域表现突出 还以80.614分刷新了CLUE分类榜单纪录 排名仅次于“人类”组 今天阿云也挑了几部经典作品让PLUG来挑战一下仿写 《红楼梦》仿写 原文（上） 黛玉只就宝玉手中看了一看，便问道：“还是单送我一人的，还是别的姑娘们都有呢？”周瑞家的道：“各位都有了，这两支是姑娘的了。” AI续写（下） ...
「PyTorch自然语言处理系列」9. NLP经典, 前沿和后续
大数据与人工智能
11-12 1402
来源 | Natural Language Processing with PyTorch作者|Rao，McMahan译者 | Liangchu校对| gongyouliu编辑 |...
离散数学-逻辑
热门推荐
weixin_53280964的博客
07-11 1万+
1.命题逻辑的基本概念 1.1命题与连接词 1.1.1命题 非真即假的陈述句 1.1.2真值 命题的判断结果 一个命题如果是对的或正确的,则称为真命题,其真值为“真(ture),常用T或1表示；一个命题如果是错的或不正确的,则称为假命题,其真值为“假”(false),常用F或0表示 任何命题的真值都是唯一的 例： 1.1.3命题变元（命题变项） 通常用小写英文字母p,q,r,...或带有下标的小写字母P₁,p₂,p₃,...来表示命题,称为命题变元或命题变项 1.命题变.
【转载】自然语言推理介绍
u010960155的博客
08-02 8371
原文链接 自然语言推理介绍 自然语言推理作为自然语言理解的一个重要组成部分，在整个自然语言理解中扮演着重要的角色，接下里我将对自然语言推理的现状做一简单总结，以下内容是我的小组分享的记录版。 自然语言推理简介 自然语言推理主要是判断两个句子（Premise, Hypothesis）或者两个词之间的语义关系，为了保证模型能够集中在语义理解上，该任务最终退化为一个分类任务，目前类别主要是三...
【数据库系统概论】第1章：绪论 1.2数据模型
最新发布
zzzzzyliu的博客
03-04 857
尽管如此，由于面向对象数据库操作语言过于复杂，没有得到广大用户，特别是开发人员的认可，加上面向对象数据库企图完全替代关系数据库管理系统的思路，增加了企业系统升级的负担，客户不接受，·面向对象数据库产品终究没有在市场上获得成功。它保持了关系数据库系统的非过程化数据存取方式和数据独立性，继承了关系数据库系统已有的技术，支持原有的数据管理，又能支持00模型和对象管理。数据的完整性约束条件是一组完整性规则的集合，规定数据库状态及状态变化所应满足的条件，以保证数据的正确性、有效性和相容性。
自然语言处理（NLP）——概述
dongbao520的博客
12-26 1035
而语言，则是人类最重要的思维、认知与交流的工具。历史上，人类智慧的每一次进步都离不开语言“开路”。因此，如何让计算机有效地理解人类语言，进而实现人机之间有效的信息交流，被视为AI领域最具挑战性的技术分支。自然语言是人类通过社会活动和教育过程习得的语言，包括说话、文字表达以及非语音的交际语言，这种习得的能力或许来自先天。AI发展史上著名的“图灵测试”，就是把利用自然语言进行交流的能力当作判断机器是否已达到拟人化“智能”的关键指标——如果机器在对话交流中做到成功地让人类。
电子商务概论第一章(1).ppt
11-12
电子商务概论第一章(1).ppt
第一章自然语言处理概论
12-20
第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第一章自然语言处理概论第...
北大语言学 自然语言处理课程 NLP系列课程 1_自然语言处理概论 共48页.pptx
04-26
1. **自然语言处理概论**：介绍NLP的基本概念、历史发展和重要性。这包括NLP的研究范围、任务类型以及它在人工智能系统中的角色。 2. **基本方法**：讲解NLP中常用的技术和算法，如词典和词汇资源的构建、词法分析...
智能技术与自然语言处理技术课程 哈工大NLP系列课程 第01章 自然语言处理概论 共64页.pptx
04-25
课程的起点是第一章“自然语言处理概论”，它介绍了NLP的基本概念和历史。自然语言处理起源于20世纪40年代的机器翻译研究，随着统计自然语言处理技术的兴起，尤其是在80年代初，它逐渐成为主流。课程重点探讨统计...
第二章 2.2 算法时间复杂度例题讲解
qq_38888209的博客
02-20 1294
#%% md 时间复杂度和空间复杂度 这是任何AI工程师必须要深入理解的概念。对于每一个设计出来的算法都需要从这两个方面来分析 O(N), O(N^2) : o notation #%% int a = 0, b = 0; for (i = 0; i < N; i++) { # O(N)+O(N)=2*O(N)=O(N) a = a + rand();# N*1个操作 = O...
第二章 2、3 算法时间复杂度例题讲解
qq_38888209的博客
02-20 877
#%% md 1. 简单的复杂度的回顾 #%% def compute(a,b): n,s = 10,0 for i in range(n): for j in range(n): s = s + a * b return s 时间复杂度：O(N^2)， 空间复杂度：O(1) #%% md 2. 归并排序以及时间复杂度以及Mas...
第三章 3、2 文本预处理之拼写纠错（Spell Correction）
qq_38888209的博客
02-23 732
一、什么是拼写纠错 根据两个单词的编辑距离，计算相似度。可以将错误的单词改正。 编辑距离（Edit Distance），又称Levenshtein距离，是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。 那么，如何用Python计算编辑距离呢？我们可以从较为简单的情况进行分析...
第二章 算法时间复杂度
qq_38888209的博客
02-19 589
一、主定理 1、 主要是计算 n_log_b_a 。求出来之后和后面的Fn进行比较，然后按照规则些出结果就行。 2、一句话解释：这两个值哪一个大就取谁；想等的话先看Fn里面log的次数，最终的结果在log的基础之上+1就是最终结果log的次数。例题如右下角 3、要注意的一点就是：保证T（n）的形式要和定理里面的一样，一个大问题拆解成为几个相等的小问题。 1、例题如上。 2、N！是阶数最...
第三章 3、1 文本预处理之分词（Word Segmentation）
qq_38888209的博客
02-20 539
一、大纲总览 1、tough资料：各类文本等的输入。 2、分词。好的分词算法很重要。 3、文本预处理。 4、标准化：单词的时态，单复数。都转换为最原始的。这时还是字符串。 5、特征提取：向量表示，thidf算法，w2w，seq2seq算法等等。 6、模型：向量有了，然后就是根据算法去匹配。 二、分词 可以直接用的分词工具。 1、分词算法之最大匹配 向前最大匹配、向后最大匹配、双向最大匹配（不讲...
第三章 3、4 语言模型及其平滑项处理
qq_38888209的博客
02-25 505
Noisy Channel Model 下面这个是贝叶斯公式。因为source是给定的输入，所以它的概率是常数，分母就忽略了。 例如：一直输入的英文，求翻译之后的中文。 语言模型 LM：深度学习模型，判断语义性。 回忆一下联合概率公式 在语料库中先找后面这一句话，找到之后，看后面接的是什么。看是否出现，求概率。 缺点：当这这句话很长的时候，不好找 改进：马尔科夫假设 unigram ...
哈尔滨工大NLP课程：第01章 自然语言处理入门详解
第01章，即自然语言处理概论，共64页，涵盖了自然语言处理的基本概念和入门知识，适合初学者和希望回顾基础知识的学习者。课程由王开铸和李生教授等知名专家授课，他们曾领导团队在俄汉、汉英机器翻译等领域取得显著...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值