NLP
自然语言处理
DamonDT
人工智能
展开
-
【NLP】_00_正则表达式
【一】基本语法 【二】基本流程 指定好匹配的模式(pattern)选择相对应的方法(march,serch,…)能得到匹配的结果(group) 基本操作示例:工具包 和 测试字符 准备# 导入包import re# 定义字符串arr = '自然语言处理很重要 。 12abc789'字符集合# [abc] 指定包含字符p...原创 2019-09-08 11:48:52 · 171 阅读 · 0 评论 -
【NLP】_01_NLP基础知识
【一】Inverted Index(倒排索引)Vocabulary:[ Word1, Word2, …, WordN ]Word1: [ Doc1, Doc2, … ];Word2: [ Doc1, Doc2, … ];WordN: [ Doc1, Doc2, … ]建立倒排表,用于快速检索,如搜索引擎 【二】Noisy Channel ModelBayes 贝叶斯公式...原创 2020-02-08 10:47:32 · 216 阅读 · 0 评论 -
【NLP】_02_NLP经典任务
【一】NER(命名实体识别) ORG(组织),LOC(地点),PER(人物) 常用方法(原文链接:https://blog.csdn.net/weixin_37665090/article/details/89454829)LSTM 的优点是能够通过双向的设置学习到观测序列(输入的单词)之间的依赖,在训练过程中,LSTM 能够根据目标(比如识别实体)自动提取...原创 2020-02-17 14:04:59 · 334 阅读 · 0 评论 -
【NLP】_03_基础词向量
【一】Word2Vec(词向量) Word2Vec,作为 NLP 领域深度学习的基础,是每个工程师都绕不过的重点话题。虽然从18年年底就诞生出了 Bert,GPT 等预训练模型,横扫 NLP 领域,但其还是局域 Word2Vec 的向量和思想训练出来的。 【1.1】Skip-Gram(通过 中心词 预测 上下文)...原创 2020-02-18 12:17:35 · 174 阅读 · 0 评论 -
【NLP】_04_句法分析
文章目录【一】Syntax Tree(句法树)【二】CKY 算法(动态规划) 【一】Syntax Tree(句法树) 【N:名词】【V:动词】【P:介词】【NP:名词短语】【PP:介词短语】 Old Machine Translation(老旧的机器翻译) From CFG(Context Free Grammars) to PCFG...原创 2020-02-17 16:39:06 · 403 阅读 · 0 评论 -
【NLP】_05_HMM(隐马尔科夫模型)
文章目录【一】三大主要问题【二】经典例子【三】3 个参数(A B π)【四】Viterbi(维特比算法)【五】F / B Algorithm(Forward / Backward 算法) 【一】三大主要问题在已知模型参数的条件下,基于观测值,反推出其背后的序列(Decode)基于观测值,反推出模型的参数(EM)计算出观测值序列的边缘概率 【二】经...原创 2020-02-19 18:09:33 · 235 阅读 · 0 评论 -
【NLP】_06_CRF(条件随机场)
【一】Directed Graph and Undirected Graph(有向图和无向图) 【二】Joint Probability(联合概率) Directed Graph(有向图) Undirected Graph(无向图,运用 Clique 概念,每个 Clique 称为一个 Factor) ...原创 2020-02-24 11:47:33 · 177 阅读 · 0 评论 -
【NLP】_07_RNN(递归神经网络)
【一】RNN - Introduction(Recurrent Neural Network) 【二】RNN - 结构图(序列处理器) 结构示意图展开示意图 (W 不变,权重共享)记忆体(中间层H)Ho = F(Wu * Xo)H1 = F(Wh * Ho + Wu * X1)H2 = F(Wh * H1 + Wu * X2)……【三】RN...原创 2019-08-04 15:58:54 · 248 阅读 · 0 评论 -
【NLP】_08_LSTM & GRU
【一】正确的矩阵初始化∂Loss / ∂W 求导过程中,会出想大量的 W 矩阵连乘将 W 矩阵初始化为 接近于 单位矩阵 【二】正则项公式控制 ∂Loss / ∂ht ≈ ∂Loss / ∂ht-1 【三】LSTM - Long_Short_Term_MemoryWrite Gate(输入门):0 ~ 1Keep Gate(遗忘门):0...原创 2019-08-19 18:11:31 · 134 阅读 · 0 评论 -
【NLP】_09_Seq2Seq Model
文章目录【一】 Multimodal Learning(多模态学习)【二】 Seq2Seq Model(序列到序列模型)【三】 Evaluate Seq2Seq Model(评估模型效果)【3.1】 Beam Search(选取 Top K 个值作为候选) 【一】 Multimodal Learning(多模态学习) 多种模型的拼接(图片,文本,语音等...原创 2020-03-07 11:57:36 · 119 阅读 · 0 评论 -
【NLP】_10_Attention & Self-Attention
【一】通过 Image Captioning 理解 Attention 没加 Attention加了 Attention 【二】通过 Machine Translation 理解 Attention原创 2019-11-08 11:34:07 · 243 阅读 · 1 评论 -
【NLP】_11_Bert
文章目录【一】 Bert(简单介绍)【二】 模型结构(与 GPT 和 ELMo 对比)【三】 Embedding(三个部分)【四】 Masked LM(遮掩语言模型)【五】 Next Sentence Prediction(预测下一个句子)【六】 Fine-Tunning(根据任务微调)【七】 Advantages / Disadvantage(优缺点) 【一】 Be...原创 2020-03-21 21:15:50 · 227 阅读 · 0 评论 -
【NLP】_12_XLNet
文章目录【一】 XLNet(简单介绍) 【一】 XLNet(简单介绍)原创 2020-03-29 12:21:17 · 256 阅读 · 0 评论 -
【NLP】_情感分析_Aspect_01
ACL顶会论文来源:https://www.aclweb.org/anthology/P19-1048源代码:https://github.com/ruidan/IMN-E2E-ABSA 【一】数据预处理create_vocab:基于语料库创建不同 word 对应的顺序 numbervocab:{pad: 0, unk: 1, num: 2, ‘the’: 3, ‘i...原创 2019-09-26 10:24:40 · 583 阅读 · 0 评论