人工智能与深度学习
文章平均质量分 65
人工智能与深度学习
Norstc
这个作者很懒,什么都没留下…
展开
-
机器学习中的MR和MRR
设有一个test集,大小为M,对其进行分类,label的数目共有N个。那么预测结果共有M个,每个结果是对于N个label的评分,设第i个test目标的groud-truth排名为。MR(Mean Rank,平均排名):MRR(Mean Reciprocal Rank,平均倒数排名):可见,MR越小越好,MRR越大越好。MR的取值范围:MRR的取值范围:,(注意倒数,即1除以原数,而不是倒着数)举例:N=1000,M=10,eg1:排名结果是前9个都是1,最后一个是原创 2022-03-29 20:05:16 · 3986 阅读 · 0 评论 -
常用知识图谱数据集FB15K, YAGO, WN18
一 FB15K-237FB15k-237共14541个实体,237种关系,它是FB15K的子集,FB15K又是Freebase数据集的子集详细见:FB15K-237知识图谱数据集的介绍与分析,Freebase二 WN18rrWN18rr是从WordNet抽取的子集,共40943个实体,11种关系。关系列表如下:0 _hypernym1 _derivationally_related_form2 _instance_hypernym3 _also_see4 _member原创 2021-10-28 22:16:39 · 17666 阅读 · 1 评论 -
贝叶斯模型 MLE与MAP
零、前言:模型估计问题的总结模型分为确知模型与概率模型。确知模型的输出是一个确定的值,如:买x斤苹果,每斤苹果2元,总价值为y=2x;而概率模型输出的是自变量的概率,如:一个不均匀的四面体骰子,出现对应点数的概率和点数的大小相关,P(x)=y=0.1x。我们这里主要讨论概率模型在这里首先规定符号:假设是iid的一组抽样,并记作模型是对数据的描述,用一些参数和变量及它们的数学关系刻画,记作,其中X代表自变量向量,θ代表参数向量。概率模型的估计问题就是我们确定一个模型的形式,原创 2021-09-27 22:13:34 · 1019 阅读 · 0 评论 -
DBpedia +Sparql快速入门
知识图谱分为科学知识图谱和Google知识图谱,前者就是根据论文分析作者、作者单位、关键字之间的关联关系。后者google把分词技术、贝叶斯分类等算法引入,对各种内容进行关联建库。其实都差不多!DBpedia是一个开源库,把Wiki百科的内容抽取,其实只是抽取一部分,也比较乱,不过也没有比它好太多的东西。开源,往往就是凑合——文化人叫做抛砖引玉!DBpedia有个sparql查询接口,https://dbpedia.org/sparql,有啥用呢?我觉得用于测试和学习sparql挺好。它有个关键字“转载 2021-07-11 20:27:49 · 2846 阅读 · 0 评论 -
知识图谱问答(KBQA)数据集介绍
一、WebQuestions提出该数据集的论文:Semantic Parsing on Freebase from Question-Answer Pairs数据集地址:https://worksheets.codalab.org/worksheets/0xba659fe363cb46e7a505c5b6a774dc8aWebQuestions数据集(2013年提出)是由斯坦福大学研究人员通过Google Suggest API构建得到的,数据集本身共包含5810条(问题,答案)对,其中简单问题转载 2021-06-27 16:37:12 · 1769 阅读 · 0 评论 -
什么是语言模型?
作者:忆臻链接:https://zhuanlan.zhihu.com/p/28080127来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。简单地说,语言模型就是用来计算一个句子的概率的模型,也就是判断一句话是否是人话的概率?那么如何计算一个句子的概率呢?给定句子(词语序列)它的概率可以表示为:可是这样的方法存在两个致命的缺陷:參数空间过大:条件概率P(wn|w1,w2,..,wn-1)的可能性太多,无法估算,不可能有用; 数据稀疏严重:对.转载 2021-06-25 10:35:47 · 9220 阅读 · 0 评论 -
知识图谱最新权威综述论文解读:知识图谱应用部分
零、总述论文标题:Translating Embeddings for Modeling Multi-relational Data转载 2021-06-25 08:41:58 · 951 阅读 · 0 评论 -
分布表示 (Distributed)——对比独热表示 (one-hot)
一、概念二、原理*非分布表示(独热表示)*分布式表示表示新种类:三、对比转载 2021-04-30 16:49:44 · 1260 阅读 · 1 评论 -
距离 / 相似性 度量方法
1. 距离的严格定义距离的定义:在一个集合中,如果每一对元素均可唯一确定一个实数,使得三条距离公理(正定性,对称性,三角不等式)成立,则该实数可称为这对元素之间的距离。在机器学习领域,被俗称为距离,却不满足三条距离公理的不仅仅有余弦距离,还有 KL 距离,也叫作相对熵,它常用于计算两个分布之间的差异,但不满足对称性和三角不等式。2. 常见距离闵可夫斯基距离 欧里几德距离 曼哈顿距离 切比雪夫距离 马氏距离 余弦相似度 皮尔逊相关系数 汉明距离 杰卡德相似系数 编辑距离 D原创 2021-04-26 15:27:12 · 434 阅读 · 0 评论 -
深度学习之:什么是流形(manifold)?流形空间,流形学习
作者:麋路链接:https://www.zhihu.com/question/24015486/answer/194284643来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。流形学习的观点是认为,我们所能观察到的数据实际上是由一个低维流形映射到高维空间上的。由于数据内部特征的限制,一些高维中的数据会产生维度上的冗余,实际上只需要比较低的维度就能唯一地表示。举个例子,比如说我们在平面上有个圆,如何表示这个圆呢?如果我们把圆放在一个平面直角坐标系中,那一个圆实际.转载 2021-04-04 21:41:46 · 28956 阅读 · 10 评论 -
WordNet介绍,一个开放知识图谱
1 WordNet简介传统词典一般都是按字母顺序组织词条信息的,这样的词典在解决用词和选义问题上是有价值的。然而,它们有一个共同的缺陷,就是忽略了词典中同义信息的组织问题。20世纪以来,语言学家和心理学家们开始从一个崭新的角度来探索现代语言学知识结构以及特定的词典结构,终于由Princeton大学研制成功了一个联机英语词汇检索系统—WordNet,它作为语言学本体库,同时又是一部语义词典,在自然语言处理研究方面应用非常广泛。WordNet与其他标准词典最显著的不同在于:它将词汇分成五个大类:名词、.原创 2021-03-31 17:12:01 · 8577 阅读 · 1 评论 -
GCN与图谱理论(四):图滤波器
图滤波器定义为对给定图信号的频谱中各个频率各个频率分量的强度进行增强或衰减的操作。原创 2021-02-22 19:53:20 · 1880 阅读 · 0 评论 -
GCN与图谱理论(三):图的谱分析与图傅里叶变换
1.拉普拉斯矩阵的正交分解2.图傅里叶变换3.图傅里叶逆变换4.总变差5.图信号谱分析的直观理解原创 2021-02-21 16:47:05 · 2236 阅读 · 0 评论 -
GCN与图谱理论(二):拉普拉斯矩阵的数学原理
1.从散度出发2.散度的离散形式3.图的拉普拉斯矩阵4.总变差原创 2021-02-21 16:39:38 · 903 阅读 · 0 评论 -
各种数据集总结 图像数据集 语音数据集
1.图像数据集:(1)MNIST:由纽约大学的Yann LeCun整理的手写数字(0-9)数据集,图片大小为28*28,包含60000个训练集,10000个测试集,广泛用于机器学习的测试和训练。(2)cifar:由加拿大先进技术研究院的AlexKrizhevsky等收集的小图片数据集。包含CIFAR-10和CIFAR-100两种, 图片大小为32*32。cifar-10共10个分类。50000张训练,10000张测试。CIFAR-100包含100个类别,每个类别600张图像,其中500张用于训练,1转载 2020-12-30 08:52:27 · 2095 阅读 · 0 评论 -
GCN与图谱理论(一):信号的正交分解 与 傅里叶变换
零、回顾信号的正交分解与傅里叶变换要深入理解图网络与图谱理论,就需要先对谱理论深刻理解,本节从正交分解出发,回顾傅里叶变换的相关内容以往知识传送门:完备正交集,函数/信号的正交分解傅里叶级数(Fourier Series)傅里叶变换、傅里叶变换的推导(Continuous Time Fourier Transform)一、 回顾广义傅里叶级数的相关理论:所谓级数就是无限项的数列求和的函数,广义傅里叶级数做的事情就是把任意信号表示成无限个基信号的和。广义傅里叶级数:任何一个原创 2020-12-22 09:18:52 · 2262 阅读 · 0 评论 -
人工智能时代下的新一代通信理论
原创 2020-10-07 09:08:52 · 546 阅读 · 0 评论 -
卷积/反卷积后特征图尺寸计算
1、下采样/卷积:先定义几个参数输入图片大小 :W×WFilter大小 :k×k步长 :Spadding的像素数 :P输出图片大小为: N×N于是我们可以得出:N = (W − k+ 2P)/S+1建议推算一把2、上采样/反卷积:N是输出图像的大小w是输入图像的大小s是步长k是卷积核大小p是补充边缘像素反卷积后特征图尺寸的计算:N=(w-1)×s+k-2p...转载 2020-07-28 09:47:46 · 1434 阅读 · 0 评论 -
ACGAN与CGAN的区别
ACGAN与CGAN的区别如下1 与CGAN一样的是,在生成网络的输入都混入label;2 不一样的是在鉴别网络输入时,ACGAN不再混入label,而是在鉴别网络的输出时,把label作为target进行反馈来提交给鉴别网络的学习能力。3 另一个不一样的是,生成网络和鉴别网络的网络层不再是CGAN的全连接,而是ACGAN的深层卷积网络(这是在DCGAN开始引入的改变),卷积能够更好的提取图片的特征值,所有ACGAN生成的图片边缘更具有连续性,感觉更真实。如下生成网络model,和CGAN的一模转载 2020-07-15 09:11:48 · 2604 阅读 · 0 评论 -
AutoEncoder与VAE
作者:Sherlock链接:https://zhuanlan.zhihu.com/p/27549418来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。什么是自动编码器自动编码器(AutoEncoder)最开始作为一种数据的压缩方法,其特点有:1)跟数据相关程度很高,这意味着自动编码器只能压缩与训练数据相似的数据,这个其实比较显然,因为使用神经网络提取的特征一般是高度相关于原始的训练集,使用人脸训练出来的自动编码器在压缩自然界动物的图片是表现就会比较差,因为.原创 2020-06-27 19:31:59 · 804 阅读 · 1 评论 -
COCO数据集的总计80个类
personbicyclecarmotorbikeaeroplanebustraintruckboattraffic lightfire hydrantstop signparking meterbenchbirdcatdoghorsesheepcowelephantbearzebragiraffebackpackumbrellahandbag...原创 2020-03-09 17:22:52 · 6779 阅读 · 0 评论 -
稀疏性:信号稀疏 矩阵稀疏 稀疏的发展史
作者:过拟合链接:https://www.zhihu.com/question/26602796/answer/36470745来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。在最初,稀疏性自然地产生于信号处理领域,因为自然界中的信号低频居多,高频部分基本都是噪声,因此使用小波或傅立叶做基矩阵时,表达系数往往只在几个低频的基上比较大,而高频的基所对应的系...转载 2020-02-27 18:27:01 · 3237 阅读 · 0 评论 -
Pascal voc 数据集下载网址
记录一下镜像网址Pascal Voc 2007 和Voc 2012下载地址:https://pjreddie.com/projects/pascal-voc-dataset-mirror/官网:http://host.robots.ox.ac.uk/pascal/VOC/转载 2020-02-23 08:29:26 · 8350 阅读 · 0 评论 -
交叉熵在二分类与多分类上的表示 softmax层
logistic函数将上层的输入值,变换到值域为[0,1]上,可作为输出层的激励函数。但当遇到多分类问题,需要使用softmax函数,具体原因自行查阅。序交叉熵损失是分类任务中的常用损失函数,但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢?本次记录一下二者的不同。两种形式这两个都是交叉熵损失函数,但是看起来长的却有天壤之别。为什么同是交叉熵损失函数,长的却不一样...原创 2020-02-07 20:38:08 · 2480 阅读 · 0 评论 -
多标签分类(multilabel classification ) 这几天看了几篇相关的文章, 写篇文章总结一下,就像个小综述一样, 文章会很乱 1、multilabel classifica
这几天看了几篇相关的文章, 写篇文章总结一下,就像个小综述一样, 文章会很乱1、multilabel classification的用途多标签分类问题很常见, 比如一部电影可以同时被分为动作片和犯罪片, 一则新闻可以同时属于政治和法律,还有生物学中的基因功能预测问题, 场景识别问题,疾病诊断等。2. 单标签分类在传统的单标签分类中,训...转载 2020-02-07 09:25:25 · 590 阅读 · 0 评论 -
【深度学习理论】基于滑动窗口的目标检测算法
声明:本文引用吴恩达教授的DeepLearning课程内容。1.目标检测基本概念对于之前的图像问题多数是图像分类,首先将一个图片输入到神经网络中,然后通过多层卷积运算,最后经过几个全连接层,交给Softmax得到分类预测概率向量。对于目标检测算法,输出标签需要增加边界框四个参数(有一些不同的表示方法:1.中心点、长、宽;2.左下角坐标、右上角坐标;3.左下角坐标,长,宽;但是原理都是一样的...转载 2020-02-02 10:57:19 · 4738 阅读 · 0 评论 -
GNN与GCN相关论文
论文:Understanding the Representation Power of GraphNeural Networks in Learning Graph TopologyA github:Understanding-GCN 论文:Iterative Visual Reasoning Beyond Convolutions 论文:Cognitive Graph for Multi...原创 2020-01-20 21:29:01 · 811 阅读 · 0 评论 -
Structure Inference Net: Object Detection Using Scene-Level Context and Instance-Level Relationships
Structure Inference Net: Object Detection Using Scene-Level Context and Instance-Level Relationships论文笔记1.做了什么?首先我们来看一张图片由图中我们可以看到,左图(a)在海面上一些小的船只被识别成了汽车,在右图(b)鼠标却没能被识别出来。所以作者觉得上下文的语义对视觉识别极其重要...原创 2020-01-13 10:46:27 · 430 阅读 · 0 评论 -
神经网络:从逻辑回归到人工神经网络(ANN)
1. 什么是神经网络 人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。 神经网络主要由:输入层,隐藏层,输出层构成。当隐藏层只有一层时,该网络为两层神经网络,由于输入层未做任...转载 2019-10-30 20:43:11 · 4105 阅读 · 0 评论 -
机器学习mAP之我见
mAP(mean Average Precision)Precision and Recall 在模型评估时,我们往往会参照一些性能指标,最基本的如准确率和召回率。看过西瓜书的同学应该对下面这张表格很熟悉: 这张表其实很好记忆,横着看(actual:P和actual:N)代表实际所属的类别;竖着看(predicted:P和predicted:N)代表预测的类...转载 2019-10-16 22:30:52 · 2806 阅读 · 0 评论 -
Faster RCNN 学习笔记
下面的介绍都是基于VGG16 的Faster RCNN网络,各网络的差异在于Conv layers层提取特征时有细微差异,至于后续的RPN层、Pooling层及全连接的分类和目标定位基本相同.一)、整体框架我们先整体的介绍下上图中各层主要的功能1)、Conv layers提取特征图:作为一种CNN网络目标检测方法,Faster RCNN首先使用一组基础的conv+r...转载 2019-09-05 19:23:50 · 258 阅读 · 0 评论 -
CNN中的前向传播 及其Python代码实现
符号约定A表示卷积的结果矩阵,W表示滤波器(filter)矩阵,b表示偏置(bias)矩阵,stride表示卷积步长,nh nw分别表示矩阵的高和宽,nc表示通道(channel)数,也就是矩阵的第三维推导见如下图,其中prev表示上层卷积结果下面是层间的关系表达式前向传播函数Python代码def conv_forward(A_prev,W,b,hpar...原创 2018-11-06 17:24:00 · 2276 阅读 · 2 评论 -
分类问题与logistic回归 以及其参数求解——机器学习
一、分类问题和logistic函数的提出与其形式针对二分问题,即y为离散且y∈{0,1},线性回归的拟合效果很差。比如一组数据中如果加入了一个特征(横坐标)较大的数据,那么线性回归曲线会出现明显的斜率变化与偏移,拟合效果大打折扣。于是便提出了logistic函数(又称sigmoid函数),其具体形式如下:其大致图像如下:logistic函数的函数取值范围为(0,1),其意义...原创 2018-08-04 22:12:52 · 3686 阅读 · 1 评论 -
Graph R-CNN for Scene Graph Generation
https://arxiv.org/pdf/1808.00191.pdf本文摘要没有介绍背景及他人方法,而是开门见山,指出本文提出了一个新的scene generation model,叫做graph R-CNN。接着介绍这个模型的特点是能够既能高效的检测到图片中的物体,又能有效的抓取物体之间的关系。本文模型包括一个Relation proposal network(RePN),能够高效的解决...转载 2019-02-26 15:02:57 · 1150 阅读 · 0 评论 -
Visual Relationship Detection with Language Priors
《visual relationship detection with language priors》,这也是李飞飞在CNCC上提到的一片重要论文,发表于ECCV。此论文用来进行关系检测的主要方法是:分别训练两种视觉模型,一种来识别物体,一种来识别关系。关系识别的一个挑战在于没有足够的关系训练样本。比如说骑行这个动作,图片可能是人骑马、人骑车、人骑骆驼等等,想要将这些样本统统搜集起来是高耗能...转载 2019-01-09 11:35:49 · 719 阅读 · 1 评论 -
理解机器学习中的偏差与方差
学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(noise). 在估计学习算法性能的过程中, 我们主要关注偏差与方差. 因为噪声属于不可约减的误差 (irreducible error).首先抛开机器学习的范畴, 从字面上来看待这两个词: 偏差. 这里的偏指的是 偏离 , 那么...原创 2018-09-11 08:52:37 · 1321 阅读 · 0 评论 -
先验概率,后验概率与似然函数
1.先验概率与后验概率先验(A priori;又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指“在经验之后”,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。验前概率就是通常说的概率,验后概率是一种条件概率...原创 2018-09-12 10:57:04 · 11686 阅读 · 2 评论 -
支持向量机(SVM)后篇 核函数(Kernels)线性不可分情况 SMO算法——机器学习
六 核函数(Kernels)例如,对于二分问题,某些数据的结果需从一维映射到高维,才能线性可分,简而言之就是可以用超平面划分。比如,在线性回归单一特征的例子中,我们将唯一的特征x,映射到三维,分别为x,x^2,x^3。定义一个关于特征向量x的函数列向量φ(x),这被称为特征映射,其中每一行代表映射的结果,比如上例的特征映射函数为在SVM前篇的末尾中给出了超平面划分函数的表达式,其中含有...原创 2018-09-03 17:52:17 · 1672 阅读 · 0 评论 -
大白话给你说清楚什么是过拟合、欠拟合以及对应措施
论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果,一种叫过拟合(over-fitting )另外一种叫欠拟合(under-fitting)。首先谈谈什么是过拟合呢?什么又是欠拟合呢?网上很直接的图片理解如下:所谓过拟合(over-fitting)其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在验证数据集以及测试数据集中表现不佳。打个比喻就是当我需...转载 2018-09-08 22:09:16 · 1227 阅读 · 0 评论 -
支持向量机(Support Vector Machine SVM)前篇 SVM的建模及优化思想——机器学习
零 前言:Logistic回归与SVM的来源logistic回归的预测函数如下对于一组输入数据,只需比较将其输入进hθ中的函数值,若大于0.5,就是y=1的类,否则就是y=0的类。其实其实质上也是比较与0的大小,若其大于0,则判为y=1,反之判为y=0。当或判别正确的概率较大。对于如下图: 其中两个坐标轴为两个特征,直线为,X与⚪代表样本点。对于A,B我们基本可以确定其就属...原创 2018-08-23 10:34:19 · 960 阅读 · 0 评论