自然语言处理
文章平均质量分 81
Victayria
给时光以生命
展开
-
自然语言处理总复习(十一)—— 信息检索
自然语言处理总复习(十二)—— 信息检索一、概述1. 概念2. IR系统的体系结构(1)系统要素(2)Web搜索3. IR的历史4. IR的困难5. IR相关领域6. 主要的搜索引擎7. 信息检索的应用8. 国际国内会议9. 重要工具二、评价(一)评价的概述1. 评价IR的原因2. 评价IR系统的困难3. 评价的对象4. 如何评价效果?(二)基本指标 **`precision, recall, F-measure`**1. 精准率(precision),召回率(recall)2. F-measure(pr原创 2021-10-30 15:06:26 · 3436 阅读 · 0 评论 -
自然语言处理总复习(十)—— 在线社会媒体与社会计算
自然语言处理总复习(十一)—— 在线社会媒体与社会计算原创 2021-10-30 11:01:05 · 215 阅读 · 0 评论 -
自然语言处理总复习(九)—— 机器翻译
自然语言处理总复习(九)—— 机器翻译一、概述1. 定义2. 分类3. 发展历史二、机器翻译的技术路线实用化的策略(一)基于规则1. 直接式翻译2. 转换式翻译(1)通过句法分析得到某种内部的结果化表达(2)变换句型(3)目标语言的形态生成(二)基于实例基于实例的机器翻译问题(三)基于统计1. 基于统计的原因2. 要素(1)数据(2)学习(3)搜索3. 例子4. 基于词的统计机器翻译(IBM Models)(1)统计机器翻译系统(2)贝叶斯规则(3)统计机器学习的三个问题1)语言模型a. 经典的语言模型 —原创 2021-10-30 10:55:51 · 4306 阅读 · 0 评论 -
自然语言处理总复习(八)—— 文本聚类
自然语言处理总复习(八)—— 文本聚类一、聚类概述1. 目标2. 定义3. 用途(1)用于试探性数据分析(2)概念一般化(元素之间的可互换性)4. 聚类算法与分类算法的区别5. 聚类算法分类二、层级聚类(一)两种层级聚类算法1. 自底而上算法2. 自顶而下算法(二)三种相似度函数计算方式1. 单连通聚类(1)概念(2)特点2. 全连通聚类(1)概念(2)特点3. 平均连通聚类(1)概念(2)算法1)算法描述2)点与点之间的相似度度量方法3)平均相似度的定义4)减少计算量推导过程三、非层级聚类(一)基本思想(原创 2021-10-29 09:36:09 · 1993 阅读 · 0 评论 -
自然语言处理总复习(八)—— 文本分类
自然语言处理总复习(八)—— 文本分类一、相关概念和介绍(一)分类技术在自然语言中的应用(二)文本分类的一般过程1. 一些名词2. 分类过程展示二、分类方法(一)朴素贝叶斯分类1. 假设2. 参数计算3. 算法(训练)4. 举例5. 讨论(二)K近邻1. 介绍2. 算法3. KNN中的相似度量4. 图示(三)决策树分类和最大熵分类(四)支持向量机分类一、相关概念和介绍(一)分类技术在自然语言中的应用(二)文本分类的一般过程1. 一些名词训练集数学模型训练过程测试集评价2. 分类过程原创 2021-10-29 08:40:41 · 335 阅读 · 0 评论 -
自然语言处理总复习(七)—— 概率上下文无关文法
自然语言处理总复习(七)—— 概率上下文无关文法一、背景介绍(一)问题提出(二)上下文无关文法(CFG)二、概率上下文无关文法(PCFG)(一)定义(二)符号定义(三)应用举例1. 举例2. 规则的概率估计Penn树库(四)PCFG的基本问题1. 给定一个语法,如何计算一个句子的概率?P(w1m∣G)P(w_{1m}|G)P(w1m∣G)(1)相关定义(2)利用内部概率计算句子概率a)内部算法 —— 基于内部概率的动态规划算法b)内部算法 —— 举例(3)利用外部概率计算句子概率2. 已知语法,如何计算一原创 2021-10-28 19:56:54 · 2297 阅读 · 0 评论 -
自然语言处理总复习(六)—— 词汇获取
自然语言处理总复习(六)—— 词汇获取一、介绍(一)相关概念和意义1. 总体目标2. 问题和挑战3. 四个部分(二)词汇获取的评价方法1. 评价方法介绍2. 该评价方法的优点2. 其他评价方法(二)词汇获取的四个部分1. 动词子范畴(1)定义(2)相关问题背景及研究现状(3)算法*1)暗示2)假设检验2. 附着歧义(1)概念(2)算法(3)应用3. 选择倾向(1)定义与应用(2)Resnik模型1)相关概念2)举例3)模型参数估计4)模型应用举例4. 语义相似性(1)语义相似性的度量方法 —— 向量空间度量原创 2021-10-26 11:53:12 · 415 阅读 · 0 评论 -
自然语言处理总复习(五)—— 词义消歧
自然语言处理总复习(五)—— 词义消歧一、相关概念与预备知识(一)词义消歧1. 定义2. 词义消歧需要解决的三个问题3. 应用(二)预备知识1. 有监督学习和无监督学习2. 伪词3. 算法效能评估 —— 上界和下界二、有监督的消歧方法(一)基于贝叶斯分类的词义消歧1. 概念介绍及准备工作2. 计算公式推导3. 词义排歧算法(Disambiguation)(二)基于互信息的词义消歧1. 核心思想2. flip-flop算法(1)算法描述(2)算法应用举例(一&二)贝叶斯方法和互信息方法的比较(三)基于原创 2021-10-26 09:23:20 · 3824 阅读 · 0 评论 -
自然语言处理总复习(四)—— 词语搭配
自然语言处理总复习(四)—— 词语搭配一、介绍(一)搭配的概念(二)搭配的特征(标准)1. 非复合构词2. 不可替换性,不可更改性二、发现搭配的方案(一)方案一:频率1. 计数2. 简单的计量技术 + 简单的语言学知识(二)方案二:均值和方差均值和方差方法的应用(三)假设检验1. 假设检验的作用和目的2. 关键3. 检验方法(1)t 检验1)将 t 检验应用到词语搭配识别上2)t 检验不适用的情况3)t 检验用于区分近义词a) 问题描述:b) 方案:利用 t 检验(四)互信息一、介绍(一)搭配的概念原创 2021-10-26 00:17:51 · 780 阅读 · 0 评论 -
自然语言处理总复习(三)—— Markov模型
自然语言处理总复习(三)——Markov模型一、HMM(隐马尔科夫模型)的形式化定义二、隐马尔可夫模型的三个基本问题及其算法(一)评估问题1. 问题描述2. 解决方法(1) 前向算法(2) 后向算法(二)解码问题1. 问题描述2. 解决方法 —— Viterbi算法(基于Viterbi变量的动态规划算法)欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyP原创 2021-10-25 21:28:39 · 853 阅读 · 0 评论