交叉熵代价函数

本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigm...

2016-06-06 12:00:45

阅读数 1794

评论数 1

从随机过程到马尔科夫链蒙特卡洛方法

转载自:http://f.dataguru.cn/article-9274-1.html 1. Introduction 第一次接触到 Markov Chain Monte Carlo (MCMC) 是在 theano 的 deep learning tutorial ...

2016-05-30 09:56:40

阅读数 3464

评论数 0

自编码器与堆叠自编码器简述

作者:科研君 链接:https://www.zhihu.com/question/41490383/answer/103006793 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 本文是对知乎问题为什么稀疏自编码器很少见到多层的?的回答,同时借此介绍...

2016-05-30 04:46:57

阅读数 16825

评论数 0

Batch Normalization导读

写的清晰有力,必须转。原文链接:http://blog.csdn.net/malefactor/article/details/51476961 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                  ...

2016-05-29 14:35:23

阅读数 701

评论数 0

图像锐化和边缘检测

转载自:http://dsqiu.iteye.com/blog/1638589 本文内容构成:        1、图像锐化和边缘检测的基本概念,微分梯度已经差分的定义        2、锐化和边缘检测的像素处理方式(3种)        3、单方向一阶微分锐化,包括: ...

2016-05-29 14:33:01

阅读数 1454

评论数 0

在NLP上,CNN、RNN(认为LSTM等变体也是RNN)、最简单全连结MLP,三者相比,各有何优劣?

Reprinted from: https://www.zhihu.com/question/41625896 例如,我要做某个具体的任务,比如做关系抽取、实体识别、情感分类,总要先从一个入手。不考虑实现的难度的话,如何从理论、经验、直觉上去选择最优希望的那个?那么这些关于CNN、RNN、M...

2016-05-23 03:37:37

阅读数 1904

评论数 0

深度强化学习初探

转载自:http://lamda.nju.edu.cn/yangjw/project/drlintro.html 因为不让转载,所以就节选了一部分,就当帮宣传了 :D 杨敬文 2016年年初备受瞩目的围棋 “人机大战”,以人类围棋冠军被血虐落下帷幕。这只谷歌DeepMin...

2016-05-22 15:13:49

阅读数 5719

评论数 0

再谈深度学习文本的表示

转载自:http://www.52cs.org/?p=557 之前在百度开放研究社区写了篇``深度学习文本的表示'', 现在这篇姑且作为其升级篇吧。 因此本文再谈deep learning在文本表示学习方面的体会。 深度模型如何学习和表示词、短语、句子和篇章呢? 词: 以前表示词...

2016-05-22 14:22:35

阅读数 1686

评论数 0

深度学习读书笔记之RBM(限制波尔兹曼机)

转载自:http://blog.csdn.net/mytestmy/article/details/9150213 前言 本文较长,请注意要耐心读。 如果实在不愿意耐心读,起码看完红色标志的句子,不然还得很多问题不清楚。 本文组织的结构比较散,下面是大体过程: RBM使用方法--...

2016-05-21 15:05:14

阅读数 1213

评论数 0

请问人工神经网络中的activation function的作用具体是什么?为什么ReLu要好过于tanh和sigmoid function?

143赞同 反对,不会显示你的姓名 From Zhihu: https://www.zhihu.com/question/29021768 Begin Again ,谨言慎行! 知乎用户、lgc、张小璐 等人赞同 根据评论区 @山丹丹@啸王 的提醒,更正了一些错误...

2016-05-21 09:14:15

阅读数 1823

评论数 0

On the Personalities of Dead Authors

A very interesting and thought-provoking work from Google! Wednesday, February 24, 2016 Posted by Marc Pickett, Software Engineer, Chris Tar,...

2016-05-21 05:45:52

阅读数 554

评论数 0

深度学习之Google Deepmind的alphago人工智能算法技术演变历程

摘要   强化学习的典型应用。        一、简介   有些人会有如下质疑“alphago都用了蒙特卡洛搜索树了,这变成了一部分搜索问题了并不是人工智能算法了或者说不够智能了”,但我的拙见是人在思考问题的时候除了直觉、经验判断、逻辑推理之外也会去枚举、搜索...

2016-05-20 05:37:30

阅读数 1301

评论数 0

卷积神经网络(CNN)在句子建模上的应用

转载自:http://www.jeyzhang.com/cnn-apply-on-modelling-sentence.html 之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献: Kim Y. ...

2016-05-19 15:29:36

阅读数 31438

评论数 6

神经网络数据预处理,正则化与损失函数

版权声明:本文为博主原创文章,未经博主允许不得转载。 作者:寒小阳  时间:2016年1月。  出处:http://blog.csdn.net/han_xiaoyang/article/details/50451460  声明:版权所有,转载请联系作者并注明出处 1. 引...

2016-05-19 11:54:47

阅读数 9659

评论数 0

使用RNN解决NLP中序列标注问题的通用优化思路

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林  序列标注问题应该说是自然语言处理中最常见的问题,而且很可...

2016-05-19 10:54:00

阅读数 1200

评论数 0

多级神经网络结构表达文档语义性能更好吗

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林 推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很...

2016-05-19 10:41:15

阅读数 836

评论数 0

以Attention Model为例谈谈两种研究创新模式

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林        各位观众朋友好,也许此刻您刚打开电梯……...

2016-05-19 10:33:44

阅读数 971

评论数 0

神经网络之激活函数(Activation Function)

本博客仅为作者记录笔记之用,不免有很多细节不对之处。 还望各位看官能够见谅,欢迎批评指正。 更多相关博客请猛戳:http://blog.csdn.net/cyh_24 如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50593...

2016-05-18 10:49:21

阅读数 20420

评论数 4

深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数

作者:寒小阳  时间:2016年1月。  出处:http://blog.csdn.net/han_xiaoyang/article/details/50447834  声明:版权所有,转载请联系作者并注明出处 1.神经元与含义 大家都知道最开始深度学习与神经网络,是受人脑的神经元...

2016-05-18 10:36:28

阅读数 554

评论数 0

【Church - 钟摆摆得太远(5):现状与结论】

我的话: 感觉作者是站在偏理性主义的中间点上写下了这篇文章。不得不说我本人是个典型实用主义驱动的人,但是又倾向于从理性逻辑的角度思考问题。虽说Chomsky和Minsky当年的理论在一定程度上capture reality,但是我并不是十分欣赏他们的理性结论,只是对现实一定程度上的规则抽象和...

2016-01-29 11:06:27

阅读数 999

评论数 0

提示
确定要删除当前文章?
取消 删除