人工智能（7）自然语言处理

最新推荐文章于 2021-06-24 16:42:34 发布
最新推荐文章于 2021-06-24 16:42:34 发布
阅读量168 收藏
点赞数
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/artherlex/article/details/118084650
版权

NLP

1.发展阶段
初期：有穷自动机，类似于编译
最近：机器学习兴起

2.语法类型
递归可枚举语法
上下文相关语法
上下文无关语法
正则语法

3.CYK算法
输入必须为乔姆斯基范式

4.转换语法
语音组件，语义组件

5.系统语法
考虑语言的功能和 目的

6.格语法
乔姆斯基语法的延伸

7.语义语法

8.Schank系统

9.NLP中的统计方法
为每棵解析树分配概率，来解决句子的歧义问题

10.统计NLP的概率模型
隐马尔可夫模型
维特比算法：查找最可能状态序列的动态规划算法

skystoler
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
人工智能，自然语言处理代码
04-13
在IT领域，人工智能（AI）是当前最热门的研究方向之一，而自然语言处理（NLP）作为AI的一个重要分支，正逐步改变我们与计算机交互的方式。这个压缩包包含了一系列关于AI和NLP的代码示例，让我们逐一探讨这些文件所...
自然语言处理（3）——形式语言与自动机
胖虎的博客
12-06 4982
NLP学习笔记（3）——形式语言与自动机1.形式语言（1）语言（2）形式语言 1.形式语言 （1）语言 语言可以了解为一个抽象的数学系统，是按照一定的规律构成的句子和符号串的有限或无限的集合 ==语言描述的三种途径 == （1）穷举法：只适合句子数目有限的语言 （2）语法描述：生成语言中合格的句子 （3）自动机：对输入的句子进行检验，区别哪些是语言中的句子，哪些不是语言中的句子 （2）形式语言 直观意义（定义）：形式语言是用来精确地描述语言（包括人工语言和自然语言）及其结构的手段。形式语言学，也称为代
编译原理阅读笔记
zzz_781111的专栏
02-15 1797
1.用于我们常常要编写 命令行解释程序，编译器的工作原理有点类似于此，因此掌握编译原理很有意义 2.基础：自动机原理 3.汇编语言的编写依赖于特定的机器。所以需要编译程序，来分离物理设备，和编程语言。 4.硬件-fortran编译器-fortran语言 5.上下文无关文法 【在机器翻译系统中 P=“capital of China” 如何翻译？ 中国的首都(北京） 或 瓷都（景德镇）
自然语言处理（三）——自动机理论
huihuisd的博客
12-31 1423
前言 如何判断一个句子是否符合文法的规则，自动机是很简便的方法。四种文法对应四种自动机来判断验证，接下来就介绍一下四种文法和四种自动机的对应。 一、有限自动机 确定的有限自动机 (Definite Automata, DFA) 确定的有限自动机 M 是一个五元组： M = (Σ, Q, δ, q0, F) 其中，Σ 是输入符号的有穷集合； Q 是状态的有限集合； q0 ∈ Q 是初始状态；...
自动机在自然语言处理中的应用
江西师范大学-20届-吴悠
08-20 573
单词拼写检查 K.Oflazer曾将有限自动机用于英语单词的拼写检查［Oflazer,1996］。在该方法中，两个相似字符串之间的编辑 距离采用Damerau给出的定义，即两个字符串之间的编辑距离等于使一个字符串变成另外一个字符串而进行的插入、删除、替换或相邻字符交换位置而进行操作的最少次数［Damerau,1964］。 例如： 单词形态分析 词性消歧 ...
形式语言与自动机及其在NLP中的应用
zxhohai的博客
04-28 8356
摘要: 形式语言与自动机是计算机科学的理论基础，对于计算机科学与技术专业人才的计算思维能力培养极其重要。本文首先从Chomsky谱系出发，对形式语言的概念和类别进行了阐述，然后按照形式文法与自动机之间的对应关系，介绍了四种自动机。最后通过单词拼写检查例子展现了形式语言与自动机在自然语言处理中的应用。 引言 自动机和形式语言是计算机科学的理论基础，它在信息科学，生物学，管理学等众多学科领域中...
nefu人工智能专业自然语言处理实验
最新发布
05-29
在这个名为“nefu人工智能专业自然语言处理实验”的项目中，我们可以推测这是一个针对高等教育阶段的人工智能专业课程，特别是针对自然语言处理技术的实践教学活动。 实验可能涵盖了多个NLP的关键知识点，包括但...
人工智能与自然语言处理
08-03
涌现出来，其中自然语言处理技术（NLP）是人工智能技术中最为关键的 应用之一。 人工智能（Artificial Intelligence）是指利用计算机技术模拟人类智 能的一种技术。人工智能技术的应用越来越广泛，包括商业智能、...
人工智能之自然语言处理NLP.pptx
03-26
NLP的概念 NLP发展历程 编程语言与自然语言 NLP实际应用 NLP技术要点 结巴分词 TF-IDF 相似度计算 NLP相关开源API NLP技术难点总结 方法论之争和前景
自然语言处理—发展历程.pptx
05-16
自然语言处理（Natural Language Processing，简称NLP）是人工智能领域的一个关键分支，专注于研究人类与计算机之间的语言交互问题。NLP的任务主要分为两大类：自然语言理解和自然语言生成。前者致力于让计算机理解...
ML学习笔记（3）pytorch血泪史
artherlex的博客
01-08 1062
最近装pytorch差点把我送走，无数坑。 具体步骤网上有很多，就说说自己遇到的这些那些问题。 1.首先pytorch不能直接conda install，或者说是不方便，至于为什么，懂得都懂。尝试离线下载，全部失败。这个过程耗时一天。 2.要用清华源已成基本共识，如何换源就不详细说了，注意conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch，最后的-c pytorch,要删掉的。 3.报错1：http err
人工智能（1）盲目搜索
artherlex的博客
06-19 787
1.n皇后问题 回溯法 贪心算法（特例：迪杰斯特拉算法） 2.旅行商问题（TSP） 贪心算法将不能找到最优解 分支限界算法，即统一代价搜索 3.n拼图问题 深度优先搜索 广度优先搜索 4.传教士和食人魔问题 DFS,BFS 5.DFS和BFS的比较 优先DFS：树很深，分支因子不大，解出现的位置较深 反之优先BFS DFS既不优选也不完备，空间需求合理 BFS在约束下优选和完备，但空间需求大 DFS-ID作为折中。同时具备二者的有利特性 ...
人工智能（5）产生式系统
artherlex的博客
06-20 730
产生式系统也称基于规则的系统，推理系统 一种非常强大的知识表现形式 1.强方法与弱方法 强方法：通过领域特定知识组成的专家系统，例如国际象棋 弱方法：通过谓词推理和符号操作等逻辑方法 2.正向链接和反向链接 正向:自然推导 反向：从已知目标回溯 ...
人工智能（2）知情搜索
artherlex的博客
06-20 694
1.启发法 例如二维勾股定理推广到三维 2.爬山法 一种贪心算法 山麓问题：可能困在局部最大值中，即能够看到山顶，实际却不可达 高原问题：有相似的良好的局部最大值，但必须移动到另一个高原 山脊问题：访问百货公司，但在错误的楼层中 解决方法：回溯到上一个节点，尝试不同的方向 3.最陡爬坡法 有点像梯度下降 4.最佳优先搜索算法 维持开放列表和封闭列表 封闭节点不在探索，形成解的基础 开放节点是搜索边缘的节点，以后可能进一步探索 解不一定是最佳 5.集束搜索 搜索通过搜索树逐层扩展，但只有最好的W节点得到了扩展
人工智能（3）博弈中的搜索
artherlex的博客
06-20 578
博弈引入了对手来阻碍你达到目标。 1.博弈树 即全部的情况 2.启发式评估 给一个公式计算博弈结果的好坏 3.博弈树的极小化极大评估 4.α-β剪枝 与分支定界法类似 通过确定α和β值来剪枝 评估博弈树的重要工具 5.负极大值算法 对3的改进 6.渐进深化法 根据剩余搜索时间来选择搜索的深度 ...
机器学习理论导引（1）
artherlex的博客
06-23 454
1.凸集：看到这个词，不由联想到凸函数 定义：集合内任意两点连线各点都在该集合内 考虑凸多边形，二者定义关联 2.凸函数代表在定义域中任一点的一阶泰勒展开是其下界 3.一些数学变换能够保持函数的凸性 如凸函数的自变量进行线性变换后 g(x)=f(Ax+b)，该函数仍是凸函数 … 4.共轭函数 一定是凸函数 … 5.重要不等式 jensen不等式：期望的函数小于等于函数的期望 Holder不等式 Cauchy-Schwarz不等式 … ...
人工智能（6）自然启发算法
artherlex的博客
06-21 351
1.模拟退火（SA） 模拟退火算法 伪代码 s:=s0;e:=E(s)//设定目前状态为s0，其能量E(s0) k:=0//评估次数 kwhile k<kmax and e>emax//若还有时间（评估次数k还不到kmax）且结果还不够好（能量e不够低）则： sn:=neighbour(s)//随机选取一临近状态 snen:=Esn)//sn的能量为E(sn) if random()<P(e,en,temp(k/kmax)) then//决定是否移至临近状态sn s:=sn; e:=en/
ML学习笔记（4）GPU,cuda和cudnn
artherlex的博客
01-08 325
1.什么是GPU？为什么这么多人做项目要用GPU呢？什么又是cuda？ 链接：https://blog.csdn.net/yizhen_nlp/article/details/107860505 GPU这个概念是由Nvidia公司于1999年提出的。GPU是显卡上的一块芯片，就像CPU是主板上的一块芯片。那么1999年之前显卡上就没有GPU吗？当然有，只不过那时候没有人给它命名，也没有引起人们足够的重视，发展比较慢。 自Nvidia提出GPU这个概念后，GPU就进入了快速发展时期。简单来说，其经过了以
机器学习理论导引 （2）
artherlex的博客
06-24 234
1.sup上确界，inf下确界 2.对偶函数，其实就是确定目标函数最优值的下界，它必定是一个凹函数，那么问题转化为求这个下界函数的凸优化问题、 3.泛化误差和经验误差 学习器在训练集上的误差成为“训练误差”或“经验误差”。在新样本上的误差称为“泛化误差”，评价机器学习的泛化能力 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值