Ogmx的博客

原创 Coursera-吴恩达-深度学习(DL)专项课-课程笔记与编程实战-汇总

1.介绍本文主要基于Coursera上deeplearning.ai的吴恩达主讲的经典课程——深度学习专项课程(Deep Learning Specialization)将全部课程内容进行梳理并结合个人理解进行了总结。意在总结笔记加深理解，同时也为其他学习该课程或想学习DL相关知识的同学提供参考。因本人仍在学习过程中，水平有限，难免有疏忽与错误，诚请各位指正。2.参考资料课程原地址：https://www.coursera.org/specializations/deep-learningB站转

原创 Coursera-吴恩达-自然语言处理(NLP)专项课-课程笔记与编程实战-汇总

1.介绍：本文主要基于deeplearning.ai专项课程课程 Natural Language Processing Specialization,将全部课程内容进行梳理并结合个人理解进行了总结。意在总结笔记加深理解，同时也为其他学习该课程或想学习NLP相关知识的同学提供参考。因本人仍在学习过程中，水平有限，难免有疏忽与错误，诚请各位指正。2.相关参考资料：课程原地址Coursera：https://www.coursera.org/specializations/natural-lan

原创 《计算机网络(第7版)-谢希仁》学习笔记+知识点总结-汇总

基于<<计算机网络(第7版)>>--谢希仁分享一下个人一学期记录的笔记和期末复习的总结，其中“*”表示重点内容；每章节选出部分重要习题以供参考第一章-概述：https://blog.csdn.net/weixin_43093481/article/details/86683911第二章-物理层：https://blog.csdn.net/weixin_43...

原创 ACM技能树

原创 ACM-图论完全总结（知识点+模板）

目录图的类型与性质 1.1 欧拉图 1.2 哈密尔顿图拓扑排序最短路 3.1 Dijkstra     3.1.1 堆优化     3.1.2 路径还原 3.2 Bellman-Ford   &nb

原创 ACM-数据结构完全总结（知识点+模板）

目录STL中数据结构通用操作 1.1二分查找 1.2排列生成栈 2.1单调栈队列 3.1优先队列 3.2单调队列向量链表 5.1链式前向星堆 6.1映射二叉堆集合映射ST表并查集 *10.1带权并查集 *10.2种类并查集 *10.3可持久化并查集 树状数组线段树 ...

原创 ACM-字符串完全总结(知识点+模板)

目录常用STL方法manacher算法字符串HashKMP 4.1普通KMP 4.2扩展KMPTrie(字典树) 5.1 字典树 5.1 01字典树自动机 6.1 AC自动机 6.2 回文自动机(回文树)后缀数组 7.1后缀数组的常见用法一.常用STL方法：任意进制转换： itoa(int n,char* s,int r) ...

原创 ACM-组合数学完全总结（知识点+模板）

目录排列 1.1排列数 1.2圆排序 1.3不尽相异元素全排列 1.4多重集的排列组合 2.1组合数 2.2重复组合数 2.3多重组合数 2.4常用组合数公式 2.5组合数取模(模板)常用公式及定理 3.1二项式定理 3.2鸽巢原理 3.3常见恒等式 3.4帕斯卡恒等式 3.5卢卡斯定理推论 3.6容斥原理 3.7错排问题...

原创 ACM-数论完全总结（知识点+模板）

一.整除的性质：1.若a|b <-> -a|b <-> a|-b <-> |a| |

原创 深度学习(DL)-3.1 工程化机器学习——机器学习策略(1) (ML Strategy (1))

1.机器学习策略1.1 为什么需要策略？目的： 更准确高效的选择改进方法，提高模型搭建效率例子： 实际训练模型时可能遇到各种情况，对应各种解决方法，若没有一个清晰统一的指导路线，就会手忙脚乱不知所措，进行大量无需尝试 1.2 正交化(Orthogonalization)定义： 正交化或正交性是一种系统设计属性。尽可能将每次修改的影响相互独立，一次修改只影响一个部分，不会相互影响，这样就能更容易的判断问题所在，减少模型搭建时间。例子： 直观理解 电视：每个旋钮只控制一件事，如果声音太小了，只

原创 深度学习(DL)-2.3 深度学习优化技巧——超参数调整、逐层归一化 (Hyperparameter tuning and Layer-wise Normalization)

1.超参数调整1.1 基本概念定义：神经网络中，除了可学习的参数外，还存在很多超参数，这些超参数对模型性能的影响也很大，需要合理设置分类： (1)网络结构：神经元间连接关系、层数、神经元个数、激活函数等 (2)优化参数：优化方法、学习率、batch size (2)正则化系数：L1或L2正则化的系数问题： (1)超参数优化是一个组合优化问题，无法通过梯度下降法优化，也没有通用有效的方法 (2)评估一组超参数配置的时间代价很高，导致一些方法无法实际使用1.2 网格搜索(Grid Searc

原创 深度学习(DL)-2.2 深度学习优化技巧——优化算法 (Optimization algorithms)

1.优化算法1.1 基本概念定义： 优化算法是用来找到模型最优参数的方法，最常用的即梯度下降法分类： (1)调整学习率，使优化更稳定 (2)梯度估计修正，优化训练速度1.2 小批量梯度下降法 (Mini-batch gradient descent)原因： 由于深度学习通常数据量较大，如果每次都使用全部训练集数据来计算梯度，则会使模型训练速度很慢，且训练集数据中通常存在冗余，没必要使用整个训练集来计算梯度定义： 将训练集划分为多个小批量，每次使用一个批量来计算梯度更新模型参数，能够向量化充分

原创 深度学习(DL)-2.1 深度学习优化技巧——网络正则化、归一化、参数初始化 (Regularization、Normalization and Initialization)

1.机器学习开发实践1.1 需要考虑的问题开发流程： 是一个迭代循环过程：提出想法->编写代码->进行实验验证->提出新想法->重写代码->再次实验验证->… 需要考虑的问题：网络层数神经元单元数学习率激活函数选择…1.2 数据集划分1.2.1 三种数据集训练集 (train set)：用来训练模型验证集 (valid/dev set)：用于验证超参数选择，以此选出最好模型 (非必须)测试集 (test set)：用于模拟真实情况，对模型

原创 深度学习(DL)-1.4 深度神经网络 (Deep Neural Networks)

1.深度神经网络1.1 基本概念定义： 与浅层神经网络类似，在其基础上增加隐藏层数量，是由多个隐藏层构成的神经网络1.2 深度神经网络的表示其表示方法与浅层神经网络完全一致，只是层数增多1.2.1 单输入数学表示输入层：a[0]=xa^{[0]}=xa[0]=x隐藏层：a[l]=g(z[l]),l∈[1,3]a^{[l]}=g(z^{[l]}),l\in [1,3]a[l]=g(z[l]),l∈[1,3]    z[l]=w[l]⋅x+b,l∈[1,3]z^{[l]}=w^{[l]}

原创 深度学习(DL)-1.3 浅层神经网络 (Shallow neural networks)

1.神经网络1.1 基本概念概述： 在人工智能领域所说的神经网络，是指人工神经网络(Artificial Neural Networks),是一种模拟人脑神经网络而设计出的计算模型，与人脑神经元类似，由多个节点(神经元)相互连接组成，可以对数据之间的复杂关系进行建模。不同节点间的连接被赋予不同的权重，代表一个节点对另一个节点的影响。每个节点代表一种特定函数，结合其他节点的输入与权重后进行计算，计算结果输入到激活函数中，进而得到该神经元的最终输出，再传递给下一个神经元。理论上，只要有足够多的训练数据和神经

原创 深度学习(DL)-1.2 神经网络基础—逻辑回归(Neural Networks Basics)

1.二分类问题1.1 基本概念定义： 二分类问题即预测的标签只有两种取值，通常设为{+1,−1}\{+1,-1\}{+1,−1}或{0,1}\{0,1\}{0,1}；常用正例(Positive Sample)和负例(Negative Sample)来分别表示属于类别+1和-1的样本。数学表达：样本：(x,y)(x,y)(x,y)；x表示输入数据，表示输出/标签输入：x∈Rnx\in R^nx∈Rn；每个样本xxx有RnR^nRn个特征输出/标签：y∈{0,1}y\in\{0,1\}y∈{0,1

原创 深度学习(DL)-1.1 深度学习介绍 (Introduction to deep learning)

1.什么是神经网络？1.1 基本概念定义：人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。理解：简单来说一个神经网络就是一个函数，输入一个值，通过计算输出一个值。与传统函数不同的是，这个函数是通过数据训练自动得到的，并非人为构造

原创 一文搞定学术英语写作 (斯坦福SCI论文写作课程笔记)

0.前言： 本文基于斯坦福Kristin Sainani 教授的学术论文写作公开课——SCI论文写作(Writing in the Sciences)。在此基础上进行章节顺序的重排及部分内容的删减，以方便第一次进行英语学术论文写作的同学快速上手。 时间充足和想要系统学习英文学术写作的同学，十分建议观看完整课程视频，一定会受益匪浅！课程地址如下：课程B站地址：https://www.bilibili.com/video/BV1zv41177JQ1.论...

原创 自然语言处理(NLP)编程实战-1.3 使用词向量预测国家

学习目标： 在本实验中将会对词向量进行探究。通常在NLP任务中，各单词会用词向量的形式来表示，词向量能对词的含义进行编码。 词向量可通过多种不同的机器学习方法进行训练得到。在本实验中并不会研究如何生成词向量，而是学习如何使用词向量，因为在真实应用情况下，往往是直接使用已经训练好的词向量，并不会亲自训练。

原创 自然语言处理(NLP)编程实战-1.2 使用朴素贝叶斯实现情感分类

作业 2: 朴素贝叶斯(Naive Bayes)学习目标： 学习朴素贝叶斯原理，并应用其对推特进行情感分析。给出一条推特，判断其是正向情感还是负向情感。具体而言，将会学习： 训练朴素贝叶斯模型用于情感分析 测试模型 计算正向词和负向词比率 进行错误分析 使用自己的数据预测

原创 自然语言处理(NLP)编程实战-1.1 使用逻辑回归实现情感分类

作业 1: 逻辑回归(Logistic Regression)学习目标：  学习逻辑回归，你将会学习使用逻辑回归对推特进行情感分析。给出一个推特，你要判断其是正向情感还是负向情感。具体而言，将会学习：给出一段文本，学习如何提取特征用于逻辑回归从零开始实现逻辑回归应用逻辑回归进行NLP任务测试逻辑回归算法进行错误分析我们将使用一系列推特数据。在最后你的模型应该能得到99%的准确率。导入函数和数据# run this cell to import nltkimport nltkfr

原创 自然语言处理(NLP)-4.4 Reformer与对话机器人(Reformer and Chatbot）

1.长序列问题1.1 长文本序列问题(Long Text Sequences) 长文本序列： 定义：文章级长度的文本序列 应用：写书、写故事、问答机器人 1.2 聊天机器人(Chatbots) 定义：能模拟人类进行聊天和问答的自然语言处理系统 1.3 Transformer问题 Transformer问题： 需要大量内存空间，空间复杂度O(N^2) 需要大量训...

原创 自然语言处理(NLP)-4.3 BERT、T5与问答系统(BERT&T5&Question Answering)

1.概述1.1 问答系统(Question answering) 基于上下文：输入问题和文本，输出答案；如阅读理解 封闭系统：直接输入问题，输出答案；如聊天机器人 1.2 迁移学习(Transfer learning) 定义：先在有大量训练数据的任务上预训练，再在下游任务上继续训练 1.3 BERT(Bidirectional Encoder Representations from Transformers)...

原创 自然语言处理(NLP)-4.2 Transformers与文本摘要(Transformers and Text Summarization)

1.Transformers介绍1.1 RNNs存在的问题 (1)计算速度慢： 只能顺序计算，处理完上一个输入后才能计算下一个输入，不支持并行计算 (2)梯度消失与信息丢失问题： 信息丢失：长期依赖关系难以维持，前面信息难以对后面结果产生影响 梯度消失：反向传播时，梯度逐步减少，导致浅层网络训练不充分 1.2 Transformer概述 定义：...

原创 自然语言处理(NLP)-4.1 Seq2Seq模型与机器翻译(Neural Machine Translation and Seq2Seq Models)

1.序列到序列(Seq2seq)1.1 序列到序列模型 定义：是一类特殊的递归神经网络体系结构，通常用于解决复杂的语言问题，例如机器翻译，问答，创建聊天机器人，文本摘要等 输入一段序列(文本)，输出一段序列(文本) 构成： 编码器Encoder：内部由LSTM构成，读取输入序列，对输入信息进行解析与汇总，用于帮助解码器准确预测 解码器Decoder：内部由LSTM构成，读入编码器的输出，用于输出序...

原创 自然语言处理(NLP)-3.4 孪生神经网络与单样本学习(Siamese Networks)

1.孪生神经网络(Siamese Networks)1.1 基本概念 同义与歧义： 同义：两个完全不同的句子可能有相同的意思 歧义：两个基本相同的句子可能有完全不同的意思 定义：由左右两个神经网络构成，两个网络共享权值 功能：用于衡量相似程度；在NLP中常用于衡量两个句子是否同义 应用： 签名检测、歧义检测、询问... 1...

原创 自然语言处理(NLP)-3.3 LSTM与命名实体识别(LSTMs and Named Entity Recognition)

1.RNN与梯度消失1.1 RNN的优缺点 RNN优点： (1)能捕捉长距离依赖关系 (2)相比n-gram模型，使用更少的内存 RNN缺点： (1)无法处理更长的序列 (2)存在梯度消失和梯度爆炸问题 1.2 梯度消失/梯度爆炸 原因： 正向传播：随着不断有新输入，前面的信息在传播过程中被逐步稀释，导致对最后结果几乎没有影响 ...

原创 自然语言处理(NLP)-3.2 使用RNN构建语言模型(Recurrent Neural Networks for Language Modeling)

1.语言模型(Language Modeling)1.1 传统语言模型 定义：基于n-grams的概率模型，通过条件概率链式法则不断找出概率最高的单词，以生成句子 原理：n-grams 缺点： (1)对于长距离依赖关系，需要大量的n-gram来捕捉语义信息 (2)需要大量存储空间 1.2 基于RNN的语言模型 RNN优点： (1)...

原创 自然语言处理(NLP)-3.1 用神经网络进行情感分析(Neural Networks for Sentiment Analysis)

1.用神经网络进行情感分析1.1 神经网络概述 前向传播(Forward propagation)： 定义：逐层计算，用前一层输出*当前层权重，再通过激活函数 1.2 神经网络用于情感分析 原理：使用词嵌入层、全连接层、输出层使用softmax 初始化表示： 方法：将每个单词用一个数字进行编码 2.Trax库与神经网络2.1 Trax介绍 概述：Trax...

原创 自然语言处理(NLP)- 2.4 用CBOW实现词嵌入(Word embeddings with neural networks)

1.词的表示方法1.1 整数表示 定义：每个词用一个整数表示 优点：简单 缺点：缺少语义信息 1.2 独热码表示(one-hot vectors) 定义：指定位置为1，其余位置为0 优点：简单、不用考虑单词间顺序 缺点：占用大量空间、无语义信息 1.3 词嵌入表示(Word Embedding) 定义：用一个向量表示一个单词，向量中每一维度都表示一种特定语义的强弱 优点：低维度...

原创 自然语言处理(NLP)-2.3 自动补全与语言模型(Autocomplete and Language Models)

1.N-Grams语言模型1.1 基本概念 定义：一个N-gram就是一个由句子中连续单词构成的序列，其中N表示该序列中单词个数 三种常见n-gram： Unigrams：一个单词构成一个序列 Bigrams：两个连续单词构成一个序列 Trigrams：三个连续单词构成一个序列 例： 功能： (1)计算句子概率 (2...

原创 自然语言处理(NLP)-2.2 词性标注与隐式马尔科夫模型(Part of Speech Tagging and Hidden Markov Models)

1.词性标注(Part of Speech Tagging，POS)1.1 基本概念 定义：标注出句子中各单词的词性，如名词、动词、形容词等 例子： 1.2 相关应用 应用： 命名实体识别 指代消歧 语音识别2.马尔可夫链(Markov Chains)2.1 基本概念 定义：离散时间的马尔可夫过程即马尔可夫链；其假设未来状态只与当前状态有关，而与时间无关 ...

原创 自然语言处理(NLP)-2.1 最小编辑距离算法与自动拼写纠正(Autocorrect)

1.自动纠正1.1 基本概念 定义：自动将错误拼写修正为正确形式 整体流程： (1)识别错误拼写单词 (2)计算最小编辑距离：即一个单词变为另一个单词所需要的操作数 (3)筛选候选编辑列表 (4)计算单词概率 1.2 具体流程构建模型： (1)识别错误拼写词： 定义：如果一个词未存在于词汇表中即视为错误 (2)构建编辑列表：...

原创 自然语言处理(NLP)-1.4 机器翻译与文件搜索(Machine Translation and Document Search)

1.词向量转换(Transforming word vectors)1.1 基本原理 概述：先得到源语言和目标语言的词向量，再通过变换矩阵R将源语言的词向量转换成目标语言的词向量，距离转换后词向量最近的词向量即为最可能的翻译结果 1.2 整体流程 利用梯度下降法计算转换矩阵R： (1)通过弗罗贝尼乌斯范数计算损失值 (2)计算损失值的梯度 (3)用梯度更新R 1.2.1 弗罗贝尼乌斯范数...

原创 自然语言处理(NLP)-1.3 向量空间模型(Vector Space Models)

1.向量空间模型(Vector Space Models)1.1 基本概念 定义：向量空间模型将单词或文本用向量表示，通过上下文来获取其语义信息 功能：识别两文本/两类文档间的相似度和独立性 例： 单词基本相同的两句话可能有不同含义；而单词完全不同的两句话可能有相同含义 1.2 应用 信息提取 机器翻译 聊天机器人 2.构建向量空间2.1 单词统计(Wor...

原创 自然语言处理(NLP)-1.2 情感分析与朴素贝叶斯法(Sentiment Analysis with Naïve Bayes)

1.概率论基础1.1 单事件概率 定义：一个事件发生的概率 例如：设事件A表示"一个文本是正向文本"，则其发生概率P(A) = 正向文本数 / 总文本数 下图中，绿色格表示正向文本、橙色格表示负向文本，则P(A) = 绿格数 / 总格数 = 13/20 = 0.65 即表示从该语料库中任取一个文本其是正向文本的概率为0.65 1.2 多事件概率 定义：...

原创 自然语言处理(NLP)-1.1 监督学习与情感分析(Supervised ML & Sentiment Analysis)

1.监督学习与情感分析（Supervised ML & Sentiment Analysis）1.1监督学习： 输入：在监督学习中，需要输入特征(Features)和对应的标签(Labels) 目的：尽可能减少损失值，使模型能较精准预测结果 简要流程： (1)将特征X输入预测函数(模型)中，计算得到对应的预测标签 (2)通过损失函数计算Y与之间的差异，即损失值(loss)，损失值越小，说明模型效果越好，预测越准确 ...

原创 图论相关概念及术语总结

前言：本文主要从数学角度，简单介绍了图论中的一些概念与术语，主要基于教材《图论及其应用》(北京邮电大学出版社)的前6章内容，如有错误，诚请指正1.图的概念1.1 图的定义1.1.1 无向图相关定义 顶点集/节点集： 其中每个元素称为图G的一个顶点/节点 边集： 其中每个元素 是图G的一条边 图： 其中V(G)为顶点集，E(G...

原创 人工智能实验-使用遗传算法求函数最值

完整代码：#include <bits/stdc++.h>#define indiv_per_group (50) //一个种群中个体的数目#define probability (60) //变异概率#define genmax (100) //最大产生代数using namespace std;typedef struct indi //一个个体...

原创 人工智能导论笔记-第六章-遗传算法

遗传算法：    基本思想：在求解问题时从多个解开始，然后通过一定的法则进行逐步迭代以产生新的解    遗传算法的基本要素：        编码        生成初始种群        适应度函数        个体选择概率        个体选择方法        交叉操作        变异     编码：        位串编码：    ...