深度学习
深度学习是机器学习中一种基于对数据进行表征学习的方法。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。本专栏主要将andrew NG的课程以及加上自己的理解作为学习笔记
黑洲非人lyf
小码农
展开
-
深度学习框架Tensorflow学习--RNN实现识别数字
本文用到的公式基本来自Alex的论文,其中a表示汇集计算的值,b表示经过激活函数计算的值,w是不同节点之间连接的参数(具体睡谁连谁看下标),带下标k的是输出层,带下标h的是隐藏层相关的,除此之外你看到所有带括号的的函数都是激活函数, ϵ 和 δ 的定义看公式,L 是最后的Loss function,这里没有给出具体的计算方法,因为这和NN是一样的,可以看到输出层和普通的NN是完全一样的,接收隐藏层...原创 2018-05-29 21:29:30 · 780 阅读 · 0 评论 -
深度学习框架Tensorflow学习--CNN实现识别数字
参考链接:https://blog.csdn.net/qq_30159351/article/details/52641644本例子用到了minst数据库,通过训练CNN网络,实现手写数字的预测。首先先把数据集读取到程序中:mnist = input_data.read_data_sets('MNIST_data', one_hot=True)1然后开始定义输入数据,利用占位符# define p...原创 2018-05-28 21:57:12 · 1897 阅读 · 1 评论 -
梯度下降优化方法综述(Optimizer)
参考链接:https://blog.csdn.net/heyongluoyao8/article/details/52478715Tensorflow原创 2018-05-27 20:16:56 · 1239 阅读 · 0 评论 -
深度学习框架Tensorflow学习笔记(二)
交叉熵权值和偏置值的调整与 无关,另外,梯度公式中的 表示输出值与实 际值的误差。所以当误差越大时,梯度就越大,参数w和b的调整就越快,训练的速度也就越快。 如果输出神经元是线性的,那么二次代价函数就是一种合适的选择。如果输出神经元是S型函数, 那么比较适合用交叉熵代价函数初始化权值:tf.truncated_normal(shape=[10,10], mean=0, stddev=1)一般效...原创 2018-05-27 20:03:44 · 428 阅读 · 0 评论 -
深度学习框架Tensorflow学习笔记(一)
1.需要在会话中完成op2.初始化操作init = tf.global_variables_initializer()3.fetch run多个opprint(sess.run([mul,add]))4.placeholder + feed_dict input1 = tf.placeholder(tf.float32,shape=[1,2])input2 = tf.placeholder(tf...原创 2018-05-27 00:15:38 · 459 阅读 · 0 评论 -
吴恩达深度学习流程3部分笔记--强烈推荐(这里是重点Review的)
第一个是github的https://github.com/marsggbo/deeplearning.ai_JupyterNotebooks,以下就是:第一章 神经网络与深度学习(Neural Network & Deeplearning)DeepLearning.ai学习笔记(一)神经网络和深度学习--Week3浅层神经网络DeepLearning.ai学习笔记(一)神经网络和深度学习...原创 2018-05-13 18:03:13 · 2967 阅读 · 0 评论 -
深度学习(十)人脸识别与神经风格迁移
转载自:https://blog.csdn.net/red_stone1/article/details/79055467《Convolutional Neural Networks》是Andrw Ng深度学习专项课程中的第四门课。这门课主要介绍卷积神经网络(CNN)的基本概念、模型和具体应用。该门课共有4周课时,所以我将分成4次笔记来总结,这是第4节笔记,主要介绍卷积神经网络的特殊应用:人脸识别...转载 2018-05-07 22:10:38 · 1604 阅读 · 0 评论 -
深度学习(九)CNN-目标检测
转载自https://blog.csdn.net/red_stone1/article/details/79028058《Convolutional Neural Networks》是Andrw Ng深度学习专项课程中的第四门课。这门课主要介绍卷积神经网络(CNN)的基本概念、模型和具体应用。该门课共有4周课时,所以我将分成4次笔记来总结,这是第3节笔记,主要介绍目标检测。1. Object Lo...转载 2018-05-07 21:51:34 · 1285 阅读 · 1 评论 -
深度学习(八)CNN卷积神经网络基础
转自链接:https://blog.csdn.net/red_stone1/article/details/78651063《Convolutional Neural Networks》是Andrw Ng深度学习专项课程中的第四门课。这门课主要介绍卷积神经网络(CNN)的基本概念、模型和具体应用。该门课共有4周课时,所以我将分成4次笔记来总结,这是第一节笔记。1. Computer转载 2018-05-07 20:20:01 · 2353 阅读 · 0 评论 -
深度学习(七)机器学习策略(下)
转自:https://blog.csdn.net/red_stone1/article/details/78600255这是Andrew Ng深度学习专项课程第三门课《构建机器学习项目》的第二节笔记,第一节笔记入口:Coursera吴恩达《构建机器学习项目》课程笔记(1)– 机器学习策略(上)1. Carrying out error analysis对已经建立的机器学习模转载 2018-05-06 23:57:53 · 626 阅读 · 0 评论 -
深度学习(六)机器学习策略(上)
转载自:https://blog.csdn.net/red_stone1/article/details/78519599《Structuring Machine Learning Projects》(构建机器学习项目)这门课是Andrw Ng深度学习专项课程中的第三门课。这门课主要介绍机器学习中的一些策略和方法,让我们能够更快更有效地让机器学习系统工作,该门课共有两周的课时。1.转载 2018-05-06 23:44:59 · 890 阅读 · 0 评论 -
深度学习(五)优化算法--提高神经网络的训练速度和精度
转自:https://blog.csdn.net/red_stone1/article/details/78348753上节课我们主要介绍了如何建立一个实用的深度学习神经网络。包括Train/Dev/Test sets的比例选择,Bias和Variance的概念和区别:Bias对应欠拟合,Variance对应过拟合。接着,我们介绍了防止过拟合的两种方法:L2 regularization...原创 2018-05-06 22:30:13 · 51656 阅读 · 0 评论 -
深度学习(四)深度学习的实用层面
转自:红色石头https://blog.csdn.net/red_stone1/article/details/78208851Andrew Ng的深度学习专项课程的第一门课《Neural Networks and Deep Learning》的5份笔记我已经整理完毕。迷路的小伙伴请见如下链接:Coursera吴恩达《神经网络与深度学习》课程笔记(1)– 深度学习概述Coursera吴恩达《神经网...转载 2018-05-06 13:32:42 · 652 阅读 · 0 评论 -
深度学习(三)深层神经网络
转自:https://blog.csdn.net/red_stone1/article/details/78062345上节课我们主要介绍了浅层神经网络。首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层。然后以简单的2 layer NN为例,详细推导了其正向传播过程和反向传播过程,使用梯度下降的方法优化神经网络参数。同时,我们还介绍了不同的激活函数,比较各自优缺点,讨论了激活函数必须是非线性...转载 2018-05-06 01:32:37 · 4645 阅读 · 1 评论 -
深度学习(二)神经网络基础之逻辑回归
转载自:https://blog.csdn.net/red_stone1/article/details/780182691. Neural Networks Overview首先,我们从整体结构上来大致看一下神经网络模型。前面的课程中,我们已经使用计算图的方式介绍了逻辑回归梯度下降算法的正向传播和反向传播两个过程。如下图所示。神经网络的结构与逻辑回归类似,只是神经网络的层数比逻辑回归多一层,多出...转载 2018-05-05 23:40:45 · 632 阅读 · 0 评论 -
深度学习(一)深度学习概述
链接:http://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001702012numpy:广播复制和展开激活函数:激活函数Sigmoid求导:tanh 求导ReLu and leaky Relu反向传播正反向传播:偏差和方差...原创 2018-04-29 10:56:50 · 4438 阅读 · 0 评论