None_Pan的博客

原创 NLP GPT算法笔记

从这个意义上讲，我们可以说GPT-2本质上是键盘应用程序的下一个单词预测功能，但是它比您的手机具有更大，更复杂的功能。 GPT-2在称为WebText的庞大40GB数据集上进行了训练，作为研究工作的一部分，OpenAI研究人员从互联网上进行了爬网。 为了比较存储空间，我使用的键盘应用程序SwiftKey占用了78MB的空间。 经过训练的GPT-2的最小变体，占用500MB的存储空间来存储其所有参数。 最大的GPT-2变体大小是其13倍，因此可能会占用6.5 GB以上的存储空间。OPENAI GPT遵循E

原创 word embedding小结笔记-一些算法 的概要

此篇涉及到一些算法的概要，会在别的文章中详解。word embedding是一种词表示形式，它允许具有相似含义的词具有类似的表示形式。它们是文本的分布式表示形式，这也许是深度学习方法在挑战自然语言处理问题方面令人印象深刻的性能的关键突破之一。本文将记录将：用于表示文本的word embedding方法是什么以及它与其他特征提取方法有何不同。有3种主要算法可用于从文本数据中学习单词word embedding。您可以在自然语言处理任务上训练新的embedding，也可以使用预先训练的embeddi

原创 NLP Bert算法笔记

BERT（Bidirectional Encoder Representations from Transformers）是Google AI语言研究人员发表的最新论文。 它通过在各种各样的NLP任务中展示最新结果而引起了机器学习社区的轰动，其中包括问答（SQuAD v1.1），自然语言推理（MNLI）等。BERT的主要技术创新是将流行的attention model，Transformer的双向培训应用于语言建模。这与以前的工作不同，后者从左到右 或 从左到右和从右到左的组合 训练查看文本序列。 论文

原创 自然语言处理中的单词向量：全局向量（GloVe）

从向量的共现信息中学习向量或单词的另一种众所周知的模型是GlobalVectors（GloVe）。 word2vec是一种预测模型，即一种前向神经网络，可以学习向量以提高预测能力，而GloVe是一种基于计数的模型。什么是基于计数（count-based）的模型？一般来说，基于计数的模型通过对共现计数矩阵进行降维来学习向量。首先，他们构造一个大的共现信息矩阵，其中包含有关在某个“上下文”（各列）中看到每个“单词”（存储在行中）的频率的信息。 “上下文”的数量需要很大，因为它的大小实际上是组合的。之后，他们

原创 Neural Network Saturation 神经网络饱和性

神经网络分类器具有一组输入节点，一组隐藏处理节点和一组输出节点。如果使用tanh激活功能，则隐藏节点的值通常在-1.0到+1.0之间。如果使用softmax激活功能，则输出节点的值将介于0.0和1.0之间。饱和神经网络是其中大多数隐藏节点的值都接近-1.0或+1.0且输出节点的值都接近0.0或1.0的网络。饱和不是一件好事。如果隐藏节点饱和，则意味着它们的激活前积和相对较大（通常大于4.0）或较小（通常小于-4.0）。饱和节点会导致这样一种情况，即在训练过程中输入到隐藏权重的微小变化可能不会太大地改变乘

原创 恒等映射Identity function

恒等映射是一个返回相同值的函数，该值用作其参数。也称为恒等关系或恒等转换。如果f是一个函数，则对于x的所有值，参数x的恒等关系表示为f（x）= x。在关系和函数方面，对于每个a ϵ P，此函数f：P→P由b = f（a）= a定义，其中P是实数集。函数的作用域和范围都为P，绘制的图形将显示一条直线通过原点。恒等函数定义：令R为实数集。因此，对于所有a∈R，由y = f（a）= a的实值函数f：R→R称为恒等函数。在此，函数f的域和范围（共域）为R。因此，集合R的每个元素本身都有一个图像。该图是一条直线

原创 attention如何在编解码器循环神经网络中起作用

Attention是一种机制，旨在提高编码器-解码器RNN在机器翻译上的性能。我将介绍：关于机器翻译的Encoder-Decoder模型和Attention机制。如何逐步实现attention机制。Encoder-Decoder Model在两篇论文中介绍了递归神经网络的Encoder-Decoder模型。两者都开发了解决机器翻译的序列到序列性质的技术，其中输入序列的长度与输出序列的长度不同。从高级的角度来看，该模型由两个子模型组成：编码器和解码器。编码器：编码器负责逐步执行输入时间步长，并

原创 残差网络笔记，克服网络退化

了解残差块非常容易。 在传统的神经网络中，每一层都进入下一层。 在具有残差块的网络中，每一层都馈入下一层，并直接进入约2-3跳远的层。但是，我们首先要了解为什么首先需要它，为什么它如此重要以及它与某些其他现有技术架构有多相似的直觉。 对于残差块为何如此出色以及为什么以及为什么它们是可以使神经网络显示各种任务的最先进性能的关键思想之一，有多种解释。 在深入研究细节之前，这里是一张残留块实际外观的图片。我们知道神经网络是通用函数逼近器，并且精度随着层数的增加而增加。但是添加的层数有限，导致精度提高有限。因此

原创 卷积神经网络中用1*1 卷积

假设我有一个转换层输出（N，????，????，????）形张量：N批量大小F是卷积滤波器的数量????，????是空间尺寸假设将此输出馈入v1的转换层1x1过滤器，零填充和跨度1。然后此1x1转换层的输出将具有形状（????，????1、H、????）因此1x1转换滤镜可用于更改滤镜空间中的尺寸。如果????1>????那么我们在增加维数，如果????1<????我们正在降低维度，即过滤器维度。确实，在Google Inception的文章“用卷积更深入”中，他们指出（粗体是我的

原创 文本分类概述

分类算法的文本特征提取和预处理非常重要。在本节中，由于大多数文档都包含很多杂音，因此我们开始讨论文本清理。在这一部分中，我们讨论文本特征提取的两种主要方法-词嵌入和加权词。文字清理和预处理在自然语言处理（NLP）中，大多数文本和文档包含许多对于文本分类来说是多余的词，例如停用词，拼写错误，语等。在本节中，我们简要说明一些文本的技术和方法。清洁和预处理文本文件。在诸如统计和概率学习方法之类的许多算法中，噪声和不必要的功能会对整体性能产生负面影响。因此，消除这些功能非常重要。令牌化令牌化是将文本流分解为

原创 dropout在DNN中的原理

在本文中，我将主要讨论神经网络（特别是深层网络）中的丢失（dropout）概念，然后进行实验，以了解在标准数据集上实施深层网络并观察丢失的影响对实践的实际影响。神经网络中的dropout是什么？术语“dropout”是指在神经网络中删除单位（隐藏的和可见的）。简而言之，dropout是指在随机选择的某些神经元的训练阶段忽略单元（即神经元）。 “ignore”是指在特定的向前或向后通过过程中不考虑这些单位。从技术上讲，在每个训练阶段，单个节点要么以1-p的概率从网络中退出，要么以概率p的形式被保留，从

原创 ELMo算法

词嵌入是任何NLP模型不可或缺的一部分，因为它们赋予词以含义，这一切都始于Word2Vec，它点燃了NLP世界的火花，其次是GloVe。Word2Vec表明，我们可以使用向量（数字列表）以捕获语义或含义相关关系的方式正确表示单词我们不要进一步研究这些词的嵌入，但重要的是该词的嵌入为词提供了确切的含义。 这是该词嵌入的主要缺点，因为词的含义会根据上下文而变化，因此，这并不是语言建模的最佳选择。以下面的句子为例。The plane took off at exactly nine o’clock.Th

原创 Word2Vec笔记

单词嵌入是文档词汇表最流行的表示形式之一。 它能够捕获文档中单词的上下文，语义和句法相似性，与其他单词的关系等。词嵌入到底是什么？ 松散地说，它们是特定单词的向量表示。 话虽如此，接下来是如何生成它们？ 更重要的是，它们如何捕获上下文？Word2Vec是使用浅层神经网络学习词嵌入的最流行技术之一。 它是由Tomas Mikolov于2013年在Google上开发的。让我们逐一解决这个问题。我们为什么需要它们？考虑以下类似的句子： Have a good day and Have a great d

原创 One-Hot Encoding

什么是分类数据？分类数据是包含标签值而不是数字值的变量。可能值的数量通常限于固定的集合。分类变量通常称为标称变量。一些例子包括：一个“宠物”变量，其值是：“ dog”和“ cat”。一个“颜色”变量，其值是：“红色”，“绿色”和“蓝色”。一个具有以下值的“地方”变量：“第一”，“第二”和“第三”。每个值代表一个不同的类别。某些类别可能彼此之间具有自然关系，例如自然顺序。上面的“ place”变量确实具有值的自然顺序。 这种类型的分类变量称为序数变量。分类数据有什么问题？某些算法可以直

原创 联合概率，边际概率和条件概率

概率可以是边际的，联合的或有条件的。理解它们之间的差异以及如何在它们之间进行操纵是成功理解统计基础的关键。边际概率：事件发生的概率（p（A）），可以认为是无条件概率。它不以其他事件为条件。例如：一张纸牌是红色的概率（p（red）= 0.5）。另一个例子：一张纸牌的概率是4（p（four）= 1/13）。联合概率：p（A和B）。事件A和事件B发生的概率。它是两个或多个事件相交的概率。 A和B相交的概率可以写成p（A∩B）。示例：一张牌是四张红牌的概率= p（四张红牌）= 2/52 = 1/26。 （在52

原创 LDA数学原理手推

原创 特征选择笔记

1.机器学习中特征选择的重要性机器学习遵循一个简单的规则-如果您放入垃圾，那么只会让垃圾出来。这里的垃圾是指数据中的噪音。当功能数量非常多时，这一点变得尤为重要。您无需使用所有可用功能来创建算法。您可以通过仅提供真正重要的功能来辅助算法。我亲眼目睹了特征子集比相同算法的完整特征集能提供更好的结果。就像罗汉·饶（Rohan Rao）所说的那样：“有时候，少即是好！”不仅在比赛中，而且在工业应用中也非常有用。您不仅可以减少培训时间和评估时间，而且还省去了很多事情！使用特征选择的主要原因如下：它使机器学

原创 降维的笔记

机器学习：如本文所述，机器学习不过是一个研究领域，它允许计算机像人类一样“学习”，而无需显式编程。什么是预测建模：预测建模是一个概率过程，它使我们可以在一些预测因子的基础上预测结果。 这些预测变量基本上是在决定最终结果（即模型的结果）时起作用的功能。什么是降维？在机器学习分类问题中，通常会根据太多因素进行最终分类。这些因素基本上是称为特征的变量。功能数量越多，越难以可视化训练集，然后对其进行处理。有时，大多数这些功能都是相关的，因此是多余的。这是降维算法发挥作用的地方。降维是通过获取一组主变量来减少所

原创 判别模型，生成模型

父亲有两个孩子，孩子A和孩子B。孩子A具有特殊的能力，他可以深入学习所有东西。小孩子B也具有特殊的能力他只能学习所见事物之间的差异。晴天，父亲将两个孩子（孩子A和孩子B）带到动物园。这个动物园很小，只有狮子和大象两种动物。他们从动物园出来后，父亲给他们看了一只动物，问他们“这只动物是狮子还是大象？”孩子A，孩子突然根据他在动物园内看到的东西，在纸上画了狮子和大象的图像。他将这两个图像与之前站立的动物进行了比较，并根据与图像和动物最接近的匹配进行了回答，他回答：“动物是狮子”。根据所学的不同属性，孩子B

原创 线性分类判别LDA

LDA算法的手推部分讲单独开一篇文章写，这里是理论部分。介绍监督学习中的线性判别分析简介随着技术的发展和连接设备的趋势，可以考虑将大量数据考虑在内，其存储和隐私性成为一个值得关注的大问题。数据黑客制定了从大量数据中窃取此类机密信息的算法。因此，必须精确地处理数据，这也是一项耗时的任务。同样，我们已经看到，并不是所有数据都需要推理，数据维度的减少也可以帮助管理可能间接帮助数据安全和隐私的数据集。在此博客的核心方面，我们将重点介绍数据降维技术，它将介绍线性判别分析（LDA）的概念，LDA与其他降维技术（

原创 LDA算法

NLP中经常出现的主题是通过主题提取来理解大量文本。 无论您分析用户的在线评论，产品描述还是在搜索栏中输入文字，了解关键主题总是非常有用的。了解LDA直觉LDA（Latent Dirichlet Allocation）是一种无监督的机器学习模型，该模型将文档作为输入，而将主题作为输出。 该模型还说明每个文档谈论每个主题的百分比。主题表示为单词的加权列表。 主题示例如下所示：花 0,2 |* 玫瑰* 0,15 | 植物* 0,09 |…该模型有3个主要参数：主题数每个主题的字数每个文档的主题

原创 先验后验概率笔记

先验与后验先验的主张是那些您可以独立于经验而知道的主张。例如，三角形的内角将始终相加180度。您不必测量所有三角形就可以知道这一点。这是先验要求。您可以独立于经验（或之前）来了解它。这是先验要求的其他一些示例：小明比小张高，小张比小王高。因此，小明比小王高。先验的主张似乎是基于纯粹的思想或理性而来的，而后验的主张是根据经验来证明的。经过经验，我们只能知道后验要求。以下是一些后验例子：三角形是蓝色的。鲍勃高六英尺。船正在下沉。60％的美国人在临床上超重。总的来说，先验的是“所有乌鸦都是鸟”。

原创 Apriori算法

什么是项集？一组项目一起称为项目集。如果任何项目集包含k个项目，则称为k个项目集。一个项目集包含两个或多个项目。频繁出现的项目集称为频繁项目集。因此，频繁项集挖掘是一种数据挖掘技术，用于识别经常一起出现的项。例如，面包和黄油，笔记本电脑和防病毒软件等。什么是频繁项集？如果一组项目满足支持和置信度的最小阈值，则称为频繁。支持显示在单个交易中包含一起购买的物品的交易。置信度显示了一个接一个地购买物品的交易。对于频繁的项目集挖掘方法，我们仅考虑那些满足最低阈值支持和置信度要求的交易。这些挖掘算法的见解提

原创 高斯混合模型

高斯混合模型是一种概率模型，用于表示总体中正态分布的子种群。混合模型通常不需要知道数据点属于哪个子种群，从而允许模型自动学习这些子种群。由于子种群分配是未知的，因此这构成了无监督学习的一种形式。例如，在对人类身高数据进行建模时，通常将身高建模为每个性别的正态分布，男性的平均值约为5’10“，女性的平均值约为5’5”。仅给出高度数据，而不给出每个数据点的性别分配，所有高度的分布将遵循两个缩放（不同方差）和偏移（不同均值）正态分布之和。进行此假设的模型是高斯混合模型（GMM）的示例，尽管通常GMM可能包含两个

原创 Jensen‘s Inequality

原创 EM手推包括以及使用ELBO ，Jensen推导

原创 PageRank Algorithm

我们生活在计算机时代。互联网是我们日常生活的一部分，信息仅需点击即可。只需打开您喜欢的搜索引擎（例如Google，AltaVista，Yahoo），输入关键字，搜索引擎就会显示与您的搜索相关的页面。但是搜索引擎如何真正起作用？乍一看，可以想象一下，搜索引擎的作用是保留所有网页的索引，并且当用户键入查询搜索时，引擎会浏览其索引并计算其中的关键词出现次数。每个网络文件。胜出的是关键词出现次数最多的页面。这些将显示给用户。在90年代初，当第一批搜索引擎使用基于文本的排名系统来确定哪些页面与给定查询最相关时，这

转载 python练习

题目描述将一个字符串转换成一个整数，要求不能使用字符串转换整数的库函数。 数值为0或者字符串不是一个合法的数值则返回0输入描述:输入一个字符串,包括数字字母符号,可以为空输出描述:如果是合法的数值表达则返回该数字，否则返回0示例1输入+21474836471a33输出21474836470class Solution: def StrToInt(self, s): # write code here numlist=['0','1','2',

原创 偏最小二乘，主成分分析，主成分回归，奇异值之间的关系

在统计中，主成分回归（PCR）是一种基于主成分分析（PCA）的回归分析技术。 在PCR中，不是直接对解释变量进行因变量回归，而是将解释变量的主要成分用作回归变量。基于奇异值分解（SVD）的偏最小二乘版本提供了一种内存有效的实现方式，可用于解决高维问题，例如在消费级硬件上将数百万个遗传标记与成象遗传学中的成千上万个成象特征相关联。 [13]PLS相关性（PLSC）是另一种与PLS回归相关的方法，最近在运动科学中也使用[17]来量化数据之间关系的强度套。通常，PLSC将数据分为两个块（子组），每个块包含一个

原创 EM算法

尽管最大似然估计（MLE）和EM都可以找到“最佳拟合”参数，但是它们查找模型的方式却大不相同。 MLE首先累积所有数据，然后使用该数据构建最可能的模型。 EM首先对参数进行猜测（考虑丢失的数据），然后对模型进行调整以适合猜测和观察到的数据。该算法的基本步骤是：对模型的参数进行初步猜测，并创建概率分布。有时将其称为“预期”分发的“ E步骤”。新观察到的数据被输入到模型中。调整了来自E步骤的概率分布，以包括新数据。有时称为“ M步”。重复执行第2步到第4步，直到达到稳定性（即从E步到M步不变的分布）为

原创 层次聚类

层次聚类，也称为层次聚类分析，是一种将相似对象分组为聚类的算法。 端点是一组群集，其中每个群集彼此都不相同，并且每个群集内的对象彼此大致相似。分层聚类技术：层次聚类是一种流行且易于理解的聚类技术。此聚类技术分为两种类型：集聚的分裂性聚集层次聚类技术：在此技术中，最初，每个数据点都被视为一个单独的聚类。在每次迭代中，相似的群集将与其他群集合并，直到形成一个群集或K个群集。集聚的基本算法很简单。计算邻近矩阵让每个数据点成为一个簇重复：合并两个最接近的群集并更新邻近矩阵直到只剩下一个集群关键

原创 样本不平衡，欠采样，过采样

什么是不平衡分类？失衡的分类是有监督的学习问题，其中一个类的人数远远超过其他类。与多级分类问题相比，该问题在二进制分类问题中面临的频率更高。术语不平衡是指因变量（响应）中遇到的差异。因此，分类失衡问题是因变量的类别比例失衡的问题。换句话说，在类之间表现出不平等分布的数据集被认为是不平衡的。例如：考虑一个具有100,000个观测值的数据集。该数据集由申请哈佛实习的候选人组成。显然，哈佛大学以其极低的接受率而闻名。因变量表示候选人是否已入围（1）或未入围（0）。经过分析数据，发现大约98％的人没有入围，只

原创 协同过滤笔记

推荐系统可以帮助用户在在线选择商品时选择相似的商品。诸如Netflix或Amazon之类的公司会向用户推荐可能会令他们感兴趣并且值得一看的不同电影。 Yelp正在使用类似的算法来建议不同的餐厅和服务。这些类型的算法可提高服务质量和客户满意度。探索和评估Yelp的推荐系统，通过根据发现的评分和餐厅功能为用户和寿司店创建配置文件，向用户推荐最佳寿司店。该方法基于内容和协作过滤方法，该方法捕获了用户偏好和项目特征之间的相关性。大规模定制比以往任何时候都变得越来越流行。当前的推荐系统（例如基于内容的过滤和协作过滤

转载 python练习

牛客最近来了一个新员工Fish，每天早晨总是会拿着一本英文杂志，写些句子在本子上。同事Cat对Fish写的内容颇感兴趣，有一天他向Fish借来翻看，但却读不懂它的意思。例如，“student. a am I”。后来才意识到，这家伙原来把句子单词的顺序翻转了，正确的句子应该是“I am a student.”。Cat对一一的翻转这些单词顺序可不在行，你能帮助他么？链接：https://www.nowcoder.com/questionTerminal/3194a4f4cf814f63919d0790578d

原创 opencv radon hough

Hough"""@file hough_lines.py@brief This program demonstrates line finding with the Hough transform"""import sysimport mathimport cv2 as cvimport numpy as npdef main(argv): default_file = '/Users/panhaokang/Documents/1.jpg' filename =

原创 多元线性回归学习小结

什么是多元线性回归– MLR？多元线性回归（MLR），也简称为多元回归，是一种统计技术，它使用多个解释变量来预测响应变量的结果。 多元线性回归（MLR）的目标是为解释性（独立）变量与响应（因变量）之间的线性关系建模。本质上，多元回归是普通最小二乘（OLS）回归的扩展，涉及多个解释变量。首先是公式：y = 是因变量x = 解释变量β 0 = 截距β p = 每个的变量倾斜系数解释多元线性回归简单的线性回归是允许分析人员或统计人员基于已知的另一变量的信息对一个变量进行预测的功能。仅当线性回归

原创 奇异值笔记

回到基本力学，我们知道，任何力矢量都可以沿x和y轴分解成其分量：SVD就是将向量分解到正交轴上而已，让我们来看看具体是如何实现的：当向量（a）分解时，我们得到3条信息：投影方向-表示我们投影（分解）的方向的单位矢量（v 1和v 2）。 在上面，它们是x和y轴，但可以是任何其他正交轴。投影的长度（线段sₐ₁和sₐ2）-告诉我们在每个投影方向上包含多少矢量（矢量a的方向比v 2倾斜的方向多于v，因此sₐ>sₐ2） 。投影向量（pₐ₁和pₐ22）-用于通过将原始向量a相加（作为向量和）来重建原

原创 Hidden Markov Model隐马尔可夫

隐马尔可夫模型或HMM是用于处理时间数据的最常见模型。 在数据科学访谈中，他们通常也以不同的方式出现，通常没有在其上写下HMM字样。 在这种情况下，有必要通过了解HMM的特征将问题识别为HMM问题。在隐马尔可夫模型中，我们正在基于马尔可夫过程的假设构建推理模型。这意味着将来状态与紧接的先前状态有关，而不与之前的状态有关。 这些是一阶HMM。隐藏的是什么？对于HMM，我们不知道哪个状态与哪些物理事件匹配，而是每个状态与给定的输出匹配。 我们随时间观察输出以确定状态顺序。示例：如果您待在室内，您将以某

原创 广义线性模型和线性回归

广义线性模型（GLM）首先术语广义线性模型（GLM）通常是指给定连续和/或分类预测变量的连续响应变量的常规线性回归模型。它包括多元线性回归，以及ANOVA和ANCOVA（仅具有固定效果）。形式为yi〜N（xβ，σ2），其中xi包含已知的协变量，β包含要估计的系数。这些模型使用最小二乘和加权最小二乘拟合。术语广义线性模型（GLIM或GLM）是指由McCullagh和Nelder（1982，第二版，1989）推广的一类更大的模型。在这些模型中，假设响应变量yi遵循均值为μi的指数族分布，并假定为xβ的某些

原创 回归问题简介以及与分类问题的区别

机器学习中的回归和分类是什么？数据科学家使用许多不同类型的机器学习算法来发现大数据中的模式，这些模式可带来切实可行的见解。 从较高的层次上讲，这些不同的算法可以根据它们“学习”数据进行预测的方式分为两类：监督学习和无监督学习。有监督的机器学习：大多数实际的机器学习都使用有监督的学习。 在监督学习中，您具有输入变量（x）和输出变量（Y），并使用一种算法来学习从输入到输出的映射函数Y = f（X）。 目标是很好地近似映射函数，以便在拥有新的输入数据（x）时可以预测该数据的输出变量（Y）。监督机器学习算法的