关闭

CNN结构:用于检测的CNN结构进化-分离式方法

基于CNN的目标检测框架主要有两种:一种是 one-stage ,例如 YOLO、SSD 等,这一类方法速度很快,但识别精度没有 two-stage 的高,其中一个很重要的原因是,利用一个分类器很难既把负样本抑制掉,又把目标分类好。 另外一种目标检测框架是 two-stage ,以 Faster RCNN 为代表,这一类方法识别准确度和定位精度都很高,但存在着计算效率低,资源占用大的问题。...
阅读(138) 评论(0)

AI:IPPR的数学表示-CNN结构分析(基本结构)

深度学习以“数据驱动”范式颠覆了“人造特征”范式,完成“特征学习”,这是一个重大的进步。但与此同时,它自己又陷入了一个“人造结构”窠臼中。06年hinton教授发表在nature上的最初的论文,多层压缩映射。给出的深度学习的方案是无监督学习获取网络结构,之后再通过有监督学习优化参数,DNN网络的引爆点恰恰是结构学习。大量利用未标记数据学习网络结构是深度学习最初的构想。   但无论Hinton教授组最初设计的AlexNet,还是后来的VGG,GoogLeNet,ResNet等等,都是富有经验的专家人工设计出来...
阅读(187) 评论(0)

AI:IPPR的数学表示-CNN参数分析

那么放开形式的限制,使用不受限制的网络来代替特定形式的网络。比如使用不受SIFT函数形式限制的局部链接层取代上图中的SIFT特征提取层,使用数据驱动来完成类似的功能,得到参数化的网络。 愈来愈多的类别和要求更高的精度要求网络越来越大,越变越胖,而随着参数暴涨,网络训练更加困难,分治法又有了用武之地。为使参数变少,使训练变得相应简单,网络逐渐变深,变得更长。...
阅读(245) 评论(0)

AI:IPPR的数学表示-CNN方法

既然人工构建的特征hash函数并不能满足每一个场景的需求,每个经验都有局限,且特征提取的压缩映射必然导致压缩损失,为何不略过此环节,使用数据来完成此过程。越多的数据可生成越精确的分类结果,这就引出了一站式图像处理PR方法——CNN方法。IPPR又从分治法回到一站式方法。...
阅读(232) 评论(0)

AI:PR的数学表示-传统方法PR

在图像处理PR领域,相对于ANN方法,其他的方法一般称为传统方法。在结构上,几乎所有的PR方法都是可解释的。而在规则和语义上,ANN方法一般是无法解释的,称之为PR的语义黑箱。 对于图像处理IP来说,一般形式下的模式函数都是(降维)压缩hash函数。...
阅读(248) 评论(0)

AI:模式识别的数学表示(集合—函数观点)

模式函数是一个从问题定义域到模式值域的一个单射。 从简单的贝叶斯方法,到只能支持二分类的原始支持向量机,到十几个类的分类上最好用的随机森林方法,到可以支持ImageNet上海量1860个类且分类精度极高的InceptionV4,其模式函数为 f( x ) = { X——>Y }|{ X = ImageNet的图片,Y={ 1860个类的标记 } } 是一个单射函数。...
阅读(170) 评论(0)

人工机器:NDC-谷歌机器翻译破世界纪录,仅用Attention模型,无需CNN和RNN

NTM的成熟体DNC竟然达到了这种能力,不知道进化成完全体会是什么样子。竟然在机器翻译的准确率上超过了已经公布的所有模型,不愧是最接近现阶段最接近图灵机的有限图灵机。 在数码宝贝中,我最喜欢的是阿和的加布兽进化的究极体数码宝贝——钢铁加鲁鲁,其使用的武器绝对冷冻气——就洋溢着极其欠揍的高冷味道。...
阅读(488) 评论(1)

Cell期刊论文:为什么计算机人脸识别注定超越人类?(祖母论与还原论之争)

“祖母细胞”(grandmother cell),这种学说的核心观点认为人脑中存在一些“超级神经元”,单独一个这样的神经元就能对一些复杂的目标(如人脸)有特异性反应,而不需依靠大量神经元相互协同工作。 还原论(reductionism)是个哲学概念,强调分析一个复杂事物时必须首先将其分解成相对简单的部件,然后逐一进行分析再组合。 具体到对人脑视神经机制的研究,还原论的代表是20世纪70年代开始兴起的Marr视觉理论框架[5],整体论的代表是20世纪20年代出现的Gestalt理论[6]。...
阅读(243) 评论(0)

人工机器:作为归纳系统的深度学习

深度学习为深度神经网络机器学习。07年最先引起注目的是DNN,在语音识别上有突出的表现;深度CNN在机器视觉领域的超常表现引领模式识别领域科学界和工业界的潮流;RNN对时序和变长数据的处理优势促使语音识别和视频分析又有较大发展;此外可应用于增强学习的新的深度网络形式可以完成游戏策略训练过程,提供端到端的 模型训练方式:DeepMind用ReinforcementLearning玩游戏 。...
阅读(319) 评论(0)

人工机器:TM、VNM和NTM的内存机制

从图灵机的原始模型分析,神经图灵机包含两个基本组成部分:神经网络控制器和记忆库,控制器通过输入输出向量和外界交互。不同于标准神经网络的是,控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机,我们将网络的参数化这些操作的输出称为“读头”。输入向量和网络结构影响注意力的聚焦,决定寻址位置。...
阅读(290) 评论(0)

基于神经网络的混合计算(DNC)-Hybrid computing using a NN with dynamic external memory

常规计算机算法能够处理复杂的大型数据结构,比如英特网和社交网络,但必须经过人类“手动”编程。神经网络则能通过示例学习如何识别复杂模式,但很难解析或组织复杂的数据结构。Alex Graves、Greg Wayne及同事,开发了一种名叫可微分神经计算机(DNC)的混合型学习机器,它由能从外部存储结构(类似常规计算机的随机存取存储器)读写数据的神经网络组成。因此,DNC能在没有先验知识和专门编程的条件下,仅仅通过试错方法来学习规划伦敦地铁路线,还能完成方块拼图游戏。...
阅读(866) 评论(0)

人工机器:Neural Turing Machines(NTM)

NTM通过融合一个注意力处理过程进行交互的外部存储器(external memory),来增强神经网络的能力。新系统等同于图灵机或者冯·诺依曼体系,但每个组成部分都是端到端可微的,因此可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出(infer)简单的算法,如复制、排序和回忆。...
阅读(1047) 评论(2)

EnforceLearning-主动强化学习

被动学习Agent由固定的策略决定其行为。主动学习Agent必须自己决定采取什么行动。...
阅读(1010) 评论(0)

正义社会的硬件基础(计算机科学)

对于正义的最低硬件需求:遍布世界的图像记录设备(天网);判断暴力模式的逻辑实体(上帝之眼);记录观察历史的存储和回放设备(时间轮)。...
阅读(500) 评论(0)

ANN:DNN结构演进History—LSTM网络

为了保持文章系列的连贯性,参考这个文章:DNN结构演进History—LSTM_NN。 LSTM使用一个控制门控制参数是否进行梯度计算,以此避免梯度消失或者爆炸。...
阅读(458) 评论(0)

ANN:神经网络堆叠/进化故事( 从感知机到DRBN )

几乎每一次神经网络的再流行,都会出现:推进人工智能的梦想之说。不过感觉,神经网络的成功是对人的已有经验的覆盖。自然状态是一个DFA,而总结规律的过程则是根据经验的正确性把几何状态转化为抽象代数运算,这就是规则ANN以我们难以理解的网络参数来表示规则,是个不明所以的黑箱。 DNN的流行因以其强大的表征能力可拟合形状诡异的流形分布,可以..........................
阅读(1738) 评论(0)

DeepMind用ReinforcementLearning玩游戏

本文从图像级别进行游戏,跨过特征-规则-策略的显示分层,有一定的趣味性。 说到机器学习最酷的分支,非Deep learning和Reinforcement learning莫属(以下分别简称DL和RL)。这两者不仅在实际应用中表现的很酷,在机器学习理论中也有不俗的表现。DeepMind 工作人员合两者之精髓,在Stella模拟机上让机器自己玩了7个Atari 2600的游戏,结果是玩的冲出美洲,走向世界,超越了物种的局限。不仅战胜了其他机器人,甚至在其中3个游戏中超越了人类游戏专家。...
阅读(1037) 评论(1)

ANN:DNN结构演进History—LSTM_NN

LSTM通过强行设定一些神经元的自连接权重为1 ,并取消和其它神经元的连接权重,使得他们的贡献相当于直接穿过时间作用到输出上,故误差反向传播时是一阶的,不存在衰减或爆炸问题。这本质上相当于构建了多个反传通道,是一种概率最大化的方法。 如果换种理解方式,这本质上是在用神经网络训练一个有限状态机,加入权重为1的积分器使得可以接受类似A*B*C....的正则语言,也就是说在关键字符中间插入若干任意字符不影响输出结果,故具有长时记忆效果。...
阅读(3426) 评论(3)

深度学习:又一次推动AI梦想

几乎每一次神经网络的再流行,都会出现:推进人工智能的梦想之说。偷笑 “我们谈到AI时,意味着高度抽象,Deep Learning是抽象的一种方式,但它远不是全部。通过神经网络能够识别动物,并不意味就理解了世界,我甚至将其看做‘模式识别’而非‘智能’”,Seide这样认为:“‘深’对智能系统来说很重要,但它不是智能的全部。语音识别可以视为AI领域的一个缩影,DNN也只是语音识别技术中的一部分——若从代码长度的角度考量,它甚至只是全部技术中很小的一部分。”...
阅读(692) 评论(0)
    个人资料
    • 访问:825637次
    • 积分:11534
    • 等级:
    • 排名:第1423名
    • 原创:281篇
    • 转载:282篇
    • 译文:28篇
    • 评论:180条