自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 交叉熵代价函数

本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:其中y是我们期望的输出,a为神经元的实际输出【 a=σ

2016-06-06 12:00:45 1871 1

转载 从随机过程到马尔科夫链蒙特卡洛方法

转载自:http://f.dataguru.cn/article-9274-1.html1. Introduction第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial 里面讲解到的 RBM 用到了 Gibbs sampling,当时因为要赶着做项目,虽然一头雾水,但是也

2016-05-30 09:56:40 4118

转载 自编码器与堆叠自编码器简述

作者:科研君链接:https://www.zhihu.com/question/41490383/answer/103006793来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。本文是对知乎问题为什么稀疏自编码器很少见到多层的?的回答,同时借此介绍下自编码器及其相关的一些知识。目录自编码器自编码器简介自编码器与神经网络堆叠自编码

2016-05-30 04:46:57 21333

转载 Batch Normalization导读

写的清晰有力,必须转。原文链接:http://blog.csdn.net/malefactor/article/details/51476961/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林

2016-05-29 14:35:23 757

转载 图像锐化和边缘检测

转载自:http://dsqiu.iteye.com/blog/1638589本文内容构成:       1、图像锐化和边缘检测的基本概念,微分梯度已经差分的定义       2、锐化和边缘检测的像素处理方式(3种)       3、单方向一阶微分锐化,包括:             水平方向             垂直方向     

2016-05-29 14:33:01 1670

转载 在NLP上,CNN、RNN(认为LSTM等变体也是RNN)、最简单全连结MLP,三者相比,各有何优劣?

Reprinted from: https://www.zhihu.com/question/41625896例如,我要做某个具体的任务,比如做关系抽取、实体识别、情感分类,总要先从一个入手。不考虑实现的难度的话,如何从理论、经验、直觉上去选择最优希望的那个?那么这些关于CNN、RNN、MLP取舍的理论、经验和直觉都是什么呢,提前感谢。知乎用户 ,深度算命入门中

2016-05-23 03:37:37 2379

转载 深度强化学习初探

转载自:http://lamda.nju.edu.cn/yangjw/project/drlintro.html因为不让转载,所以就节选了一部分,就当帮宣传了 :D杨敬文2016年年初备受瞩目的围棋 “人机大战”,以人类围棋冠军被血虐落下帷幕。这只谷歌DeepMind团队开发的围棋机器人阿法狗不仅赚足了眼球,更是掀起了一波关于人工智能的讨论狂潮。现在好像作报告还是写

2016-05-22 15:13:49 5861

转载 再谈深度学习文本的表示

转载自:http://www.52cs.org/?p=557之前在百度开放研究社区写了篇``深度学习文本的表示'', 现在这篇姑且作为其升级篇吧。 因此本文再谈deep learning在文本表示学习方面的体会。深度模型如何学习和表示词、短语、句子和篇章呢?词: 以前表示词是所谓的distributional vector, 现在将词表示成embedding这种形式我觉得根

2016-05-22 14:22:35 1840

转载 深度学习读书笔记之RBM(限制波尔兹曼机)

转载自:http://blog.csdn.net/mytestmy/article/details/9150213前言本文较长,请注意要耐心读。如果实在不愿意耐心读,起码看完红色标志的句子,不然还得很多问题不清楚。本文组织的结构比较散,下面是大体过程:RBM使用方法-->一般用途-->用能量模型的原因-->为什么要概率以及概率的定义-->求解目标和极大似然的关系-->怎

2016-05-21 15:05:14 1313

转载 请问人工神经网络中的activation function的作用具体是什么?为什么ReLu要好过于tanh和sigmoid function?

143赞同反对,不会显示你的姓名From Zhihu: https://www.zhihu.com/question/29021768Begin Again ,谨言慎行!知乎用户、lgc、张小璐 等人赞同根据评论区 @山丹丹@啸王 的提醒,更正了一些错误(用斜体显示),在此谢谢各位。并根据自己最近的理解,增添了一些东西(用斜体显示)。如果还有错误,欢迎大

2016-05-21 09:14:15 1924

转载 On the Personalities of Dead Authors

A very interesting and thought-provoking work from Google!Wednesday, February 24, 2016Posted by Marc Pickett, Software Engineer, Chris Tar, Engineering Manager and Brian Strope, Research Sci

2016-05-21 05:45:52 588

转载 深度学习之Google Deepmind的alphago人工智能算法技术演变历程

摘要  强化学习的典型应用。     一、简介  有些人会有如下质疑“alphago都用了蒙特卡洛搜索树了,这变成了一部分搜索问题了并不是人工智能算法了或者说不够智能了”,但我的拙见是人在思考问题的时候除了直觉、经验判断、逻辑推理之外也会去枚举、搜索,所以我觉得算法包含一部分搜索并不能直接说该算法这不够智能或者这不是智能算法了,我觉得更多的是要考虑该

2016-05-20 05:37:30 2123

转载 卷积神经网络(CNN)在句子建模上的应用

转载自:http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献:Kim Y. Convolutional neural networks for sentence classifi

2016-05-19 15:29:36 33248 6

转载 神经网络数据预处理,正则化与损失函数

版权声明:本文为博主原创文章,未经博主允许不得转载。作者:寒小阳 时间:2016年1月。 出处:http://blog.csdn.net/han_xiaoyang/article/details/50451460 声明:版权所有,转载请联系作者并注明出处1. 引言上一节我们讲完了各种激励函数的优缺点和选择,以及网络的大小以及正则化对神经网络的影响。这一节

2016-05-19 11:54:47 11729 1

转载 使用RNN解决NLP中序列标注问题的通用优化思路

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林 序列标注问题应该说是自然语言处理中最常见的问题,而且很可能是最而没有之一。在深度学习没有广泛渗透到各个应用领域之前,传统的最常用的解决序列标注问题的方案是最大

2016-05-19 10:54:00 1341

转载 多级神经网络结构表达文档语义性能更好吗

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很重要的工作。推导文档语义可以用无监督的方法,也可以用有监督的方法。所谓“无监督的方法”,就比如可以直接

2016-05-19 10:41:15 866

转载 以Attention Model为例谈谈两种研究创新模式

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林       各位观众朋友好,也许此刻您刚打开电梯…….读这一篇之前,请您最好先拜读一下本篇的前传:文本处理中的Attention Model:是什么及

2016-05-19 10:33:44 1040

转载 神经网络之激活函数(Activation Function)

本博客仅为作者记录笔记之用,不免有很多细节不对之处。还望各位看官能够见谅,欢迎批评指正。更多相关博客请猛戳:http://blog.csdn.net/cyh_24如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmoid、ReLU等

2016-05-18 10:49:21 22946 4

转载 深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数

作者:寒小阳 时间:2016年1月。 出处:http://blog.csdn.net/han_xiaoyang/article/details/50447834 声明:版权所有,转载请联系作者并注明出处1.神经元与含义大家都知道最开始深度学习与神经网络,是受人脑的神经元启发设计出来的。所以我们按照惯例也交代一下背景,从生物学的角度开始介绍,当然也是对神经网络研究的先驱们

2016-05-18 10:36:28 687

转载 【Church - 钟摆摆得太远(5):现状与结论】

我的话:感觉作者是站在偏理性主义的中间点上写下了这篇文章。不得不说我本人是个典型实用主义驱动的人,但是又倾向于从理性逻辑的角度思考问题。虽说Chomsky和Minsky当年的理论在一定程度上capture reality,但是我并不是十分欣赏他们的理性结论,只是对现实一定程度上的规则抽象和建模,并不是真理。虽说联结主义并没有向人类智能可知论的方向推进多少(大脑机制依然是未知的),但起码是比

2016-01-29 11:06:27 1136

转载 Allowing MySQL on Amazon’s EC2 to accept remote connections

转载自:https://kylegoslin.wordpress.com/2012/05/18/109/Amazon’s EC2 is a really great platform for well, everything!I recently got a LAMP server setup some development, instead of having a LAMP s

2016-01-25 14:06:11 453

转载 用计算来连接神经回路与行为

观察->理解->复制->创造/改进,每一步之间都相距甚远。拿飞机当例子就足以说明了。原文地址:http://www.neurotim.es/page/2016-01-12/305/Credits: nature.com神经回路(neural circuits)与行为之间的联系一直是研究人员想要探索清楚的问题。非专业的人可能会认为这不是个问题,因为媒体报道时总

2016-01-18 07:33:20 692

转载 站在2064年回顾神经科学100年

脑洞真的好大:http://www.neurotim.es/page/2016-01-07/290/Christof Koch和Gary Marcus以2064年人的口吻,对过去100年(1964-2064)的神经科学进展进行了回顾。其实是对过去50年(1964-2014)神经科学的回顾,加上对未来50年神经科学(2014-2064)的展望。文章分3部分:1964,2014和2064。

2016-01-18 07:10:36 572

转载 What is meant by back propagation in an ANN compared to a biological neural network?

转载自Quora:https://www.quora.com/What-is-meant-by-back-propagation-in-an-ANN-compared-to-a-biological-neural-networkWhat is back propagation in an artificial neural network?Back propagation in a

2016-01-16 12:12:01 679

转载 深度学习:推动NLP领域发展的新引擎

转载自:http://geek.csdn.net/news/detail/49440#0-tsina-1-14716-397232819ff9a47a7b7e80a40613cfe1文 / 雷欣,李理从2015年ACL会议的论文可以看出,目前NLP最流行的方法还是机器学习尤其是深度学习,所以本文会从深度神经网络的角度分析目前NLP研究的热点和未来的发展方向。我们主要关注Wo

2016-01-16 12:10:07 1148

转载 认知、流形与虚实世界

作者:@孙明明_SmarterChina从第一代单层神经网络被称为“感知机“开始,人工智能学者不断地追求强有力的方法来感知、认知这个复杂的 世界。(由于语义在各种语境下的混淆,这里我们不讨论认知(Congnition)与感知(Perception)的差异)。统计机器学习方法从线性方 法,到浅层非线性学习,再发展到当前的深度学习的历程中,数据吞吐处理能力,函数逼近能力,以及方差控制方

2016-01-04 15:03:20 1126

转载 人工智能史

嗯,来自维基~主要是今年的一些反思比较有意思。毕竟智能的出现是为了生存,所以自底向下的思路是可以理解的。原始连接:http://zh.wikipedia.org/wiki/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8F%B2人工智能的历史源远流长。在古代的神话传说中,技艺高超的工匠可以制作人造人,并为其赋予智能或意识。[1]现代意义上的

2016-01-04 14:42:13 3779

转载 再谈深度学习文本的表示

转载自:http://www.52cs.org/?p=557之前在百度开放研究社区写了篇``深度学习文本的表示'', 现在这篇姑且作为其升级篇吧。 因此本文再谈deep learning在文本表示学习方面的体会。深度模型如何学习和表示词、短语、句子和篇章呢?词: 以前表示词是所谓的distributional vector, 现在将词表示成embedding这种形式我觉得根

2016-01-04 12:58:08 731 1

转载 Deep Learning and Shallow Learning

转载自:http://freemind.pluskid.org/machine-learning/deep-learning-and-shallow-learning/#d099df3178ce12309f0ed2df2b7ab6484fe64c84由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 pro

2016-01-04 11:36:07 660

转载 Making sense of word2vec

转自:http://rare-technologies.com/making-sense-of-word2vec/来自Gensim作者的blog,主要对word2vec和Glove进行了比较。不同于Licstar的这篇,这里没介绍太多模型。比较让我感兴趣的就是最后关于Levy & Goldberg对于使用简单的矩阵分解策略(SVD等)达到不亚于word2vec效果的探索,Ronan C

2016-01-04 05:55:48 1273

转载 How to trick a neural network into thinking a panda is a vulture

This is really cool and not that inscrutable!From: https://codewords.recurse.com/issues/five/why-do-neural-networks-think-a-panda-is-a-vultureNeural networks are magicalWhen I go to Google

2016-01-04 05:26:34 963

翻译 KAGGLE ENSEMBLING GUIDE

转载自:http://mlwave.com/kaggle-ensembling-guide/一、Creating ensembles from submission files 简单方案,直接通过其他人提交的结果进行整合1. Voting ensemble2. Averaging3. Rank averaging二、Stacked

2016-01-03 12:49:28 1258

转载 提高效率的 Android Studio 技巧汇总

转载自:http://www.codeceo.com/article/android-studio-skills.html这是从Philippe Breault的系列文章《Android Studio Tips Of the Day》中提取出来的自认为精华的部分。这些技巧在实际应用中能够非常大的提高工作效率。关于快捷键The File Structure P

2015-12-30 11:48:35 362

原创 关于ensemble的一点点记录(RF和GBT的区别)

error=bias+variance有监督分类器的error是由bias和variance两个部分构成,前者高意味着underfitting,模型对于训练数据的描述能力不够,后者高意味着over-fitting,纵然model对于training data能够准确描述,但是换到新的数据上就跪了。Ensemble是现在十分popular的方法,在我印象中一直觉得ense

2015-12-11 11:51:53 1541

转载 Installing R packages on to your EC2 RStudio instance

转载自:http://slices.svbtle.com/installing-packages-on-to-an-ec2-rstudio-instanceOnce you’ve got your EC2 instance running with RStudio, you will probably want to install some of your favourite package

2015-12-11 06:04:40 418

原创 出来三个月了,随便写点什么

真是好快,转眼出国三个月了。csdn的blog出国之后就不太好用了,本想自己建一个new blog,结果域名突然就被抢了 = =有些进步,可又感觉什么都没有。研究的方向还是没有定下。看了很多关于embedding的东西,回头看读研的时候要是早些选择关注这个方向就好了,但毕竟人生不能后退,现在开始也不晚。Ng的ml课也快看完了,虽说不难,但是感觉收获很大,能在这么基础的课里讲授这

2015-11-16 12:01:50 538

转载 Deep learning: 用NN实现数据的降维

转载自:http://www.cnblogs.com/tornadomeet/archive/2013/04/29/3051393.html   数据降维的重要性就不必说了,而用NN(神经网络)来对数据进行大量的降维是从2006开始的,这起源于2006年science上的一篇文章:reducing the dimensionality of data with neural netwo

2015-11-02 12:45:30 634

转载 情感分析的新方法

转载自:http://datartisan.com/article/detail/48.html       情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式,情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的,但是情感量化分析已经有很多有用的实践,比如企业分析消费者对产品的反馈信息,或

2015-10-19 04:09:22 13321

转载 词嵌套(词向量)简史

转载自:http://datartisan.com/article/detail/50.html当前自然语言处理最大的趋势是对词嵌套的使用,词嵌套是指由语义相关性所度量的相似性向量。这些向量不仅可以表示计算词语之间的相关性,同时它还是其他自然语言处理项目的基础,比如文本分类、文档聚类、词性标注、命名实体识别、情感分析,等等。从 ACL 和 EMNLP 等大型 NLP 会议的会议记录中我们可

2015-10-19 03:51:40 2539

转载 在windows7(64位)下安装python(3.4)的theano库

2个多小时,同样热泪盈眶~我是win10+Anaconda的python2.7,问题基本一致转载自:http://yiisama.lofter.com/post/1cc07f63_5804e67楼主折腾这件事情长达10个小时,其中走了不少弯路,现记下方法以备不时之需,或帮助其他和我一样蛋疼到在windows下工作的人。如果你百度一下windows安装theano,里面多

2015-10-13 00:11:12 5068 4

提示
确定要删除当前文章?
取消 删除