关注
分享
2017年8月29日，网易云课堂同步推出了吴恩达的深度学习与神经网络维专业课程，本专栏为其视频教程的笔记。持续更新中。
AI让世界更懂你
计算机科学与技术专业博士，主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛，包括并不限于人工智能，心理学，认知科学，语言学，数学，天文学等。让我们一起和AI，改进世界！
展开
-
Keras与Tensorflow2.0入门（7）层与自定义层
文章目录0.前言1. 层1.1 全连接层（Dense）2.自定义层0.前言之前我们简要介绍了Keras与Tensorflow的一些基本用法，主要是了解整个深度学习框架的执行，这样我们就可以复现出别人的模型，拿到别人的模型就可以跑了，甚至做一些简单的改动。但是，如果想有一些创新，不会自定义层可谓是巧妇难为无米之炊，没有趁手的武器，再高的武功也不行。1. 层我们都知道，深度学习曾经是计算图模型...原创 2019-07-13 22:50:47 · 5286 阅读 · 2 评论 -
Keras与Tensorflow2.0入门（6）模型可视化与tensorboard的使用
文章目录1. 前言1.1 Plot_model1.2 History1.3 自定义评估函数PRF值的计算方法AUC的计算方法2. tensorboard2.1 tensorboard是什么2.2 如何使用Tensorboard2.3 继续训练与Checkpoint在Tensorboard中的显示1. 前言自从Tensorflow2.0发布以后，Keras被作为默认使用和推荐使用的高层模块集成到...原创 2019-07-02 17:27:40 · 12304 阅读 · 1 评论 -
Keras入门（5）——卷积padding的补0策略
0. 前言作为最基础的卷积层——CNN，我们应当对他最为熟悉。但是在实现的时候，忽然发现对于其第一步骤，就有困惑的地方，那就是padding，也就是补0策略。在Keras中，卷积层的定义是如下：keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_ra...原创 2018-04-25 15:03:45 · 17320 阅读 · 5 评论 -
Keras入门（4）——CNN的实现
0. 写在前面之前，我们把环境和HelloWorld都进行了详细的介绍。接下来，我们要迎接第一个真正意义上的程序了，上一节中，我们使用了多层感知机来实现了最基本的神经网络模型，下面我们才进入最经典的卷积神经网络模型的构建。对于一个可执行的神经网络模型，那么它应当具有以下几个步骤：数据预处理数据输入模型构建模型编译模型训练与评估模型的可视化当然，如果你还希望它能应用到其原创 2018-01-25 11:20:48 · 28969 阅读 · 7 评论 -
Keras入门（3）——磨刀不误砍柴工
1. 前言今天我们就正式进行Keras实验。在早些时候，我们只是在PC上进行一些小实验，能够让我们对于Keras有一定的直观的认识。下面才是我们进入到最真实的开发环境。2. 磨刀2.1 硬件设施当然真正的实验不能够在我们个人电脑上运行了。因此我们需要一个功能强大的远程服务器。以个人为例，我们假设目前已经拥有了一个2路的E5-2680V4和4路Tesla K40的Linux的服务器。 E5-2680原创 2017-10-09 20:39:31 · 3954 阅读 · 0 评论 -
Keras入门（2）——麻雀虽小，五脏俱全
1. 什么是Keras不知什么时候，突然对于Keras是什么产生了困惑。Keras中文为克拉斯，相传也是铜管乐器。其实，Keras的名字源于希腊古典史诗《奥德赛》里的牛角之门，是真实事物进出梦境和现实的地方。《奥德赛》里面说，象牙之门内只是一场无法应验的梦境，唯有走进牛角之门奋斗的人，能够拥有真正的回报。其用意不可谓不深刻。但事实上，Keras只是深度学习建模的一个上层建筑，其后端可以灵活使用CNT原创 2017-08-14 21:45:14 · 11411 阅读 · 30 评论 -
Keras入门（1）——Keras的安装与运行
0. 写在前面从几天开始，我就新跳入了一个坑里，这个坑就是大家基本上竞相跳的深度学习-Keras。但是入手并不顺利啊，虽然它已经是深度学习中，封装的十分棒的框架了，但是就和武器一样，越是厉害的武器，限制条件越多。下面看看我的坎坷之路。1. Keras安装1.1安装前准备咱属于个人开发，要啥没啥，环境只能是笔记本+windows+anaconda+python3.5+pycharm。 那装Keras原创 2017-04-14 15:13:50 · 11214 阅读 · 7 评论 -
神经网络与深度学习（8）
0. 写在前面又到了一周作业的时间了。只不过从第二周开始，我们增加了编程题作业。也就是说以后一周会有2份作业了。1. 习题1What does a neuron compute? A. A neuron computes a function g that scales the input x linearly (Wx + b)B. A neuron computes the mean of al原创 2017-09-05 19:33:57 · 3420 阅读 · 12 评论 -
神经网络与深度学习（7）
1. 向量化logistic回归中的梯度输出还记得我们上一节所讲的么，我们基本上消灭了2个循环，一个内循环，一个外循环。但是那都是建立在向量化的基础上。但这都只是在正向传播的过程中。在反向传播的部分，我们仍然可以使用向量化，来使得程序更加迅速的执行。在第五节的时候，我们讲过dz的计算：dz(i)=a(i)−y(i)dz^{(i)}=a^{(i)}-y^{(i)}，那么根据我们上一节的经验，我们应该可原创 2017-09-04 21:50:52 · 1025 阅读 · 0 评论 -
神经网络与深度学习（6）
1. 向量化1.1向量化是什么我们这里首先就要详细介绍一下向量化。 我们要向量化的地方主要是logsitic回归中的z=WTX+bz=W^TX+b中的循环计算，因为我们知道W和X都是向量，如果一定要实现的话，可能是这样子(原谅吴大大的真迹)： 这样就需要很多循环嵌套，而如果使用向量化的话，那么算法就非常简单了： 只需要这样一句话，其核心就是np.dot(w,x)，这是python里的数组原创 2017-09-03 20:56:20 · 1020 阅读 · 0 评论 -
神经网络与深度学习（5）
1. 计算图模型计算图模型是深度学习与神经网络的基础。如果你对神经网络了解不是那么透彻的话，你可能是第一次听说计算图模型，计算图不仅仅可以用在深度学习中，它在其他领域也有相关的应用。在深度学习中，我们把一次训练过程看作是一个前向传播和后向传播相结合的过程。下面我们分别看一下前向传播和后向传播的过程。2. 前向传播前向传播就是传统的计算图，它可以把任意的计算式转换为计算图来进行理解和运行。下面我们就举原创 2017-09-02 11:15:07 · 1106 阅读 · 0 评论 -
神经网络与深度学习（4）
0. 写在前面从这一节开始，我们就进入到了第二周的学习，这才是真正的内容。1. 约定符号在我们开始讲logistic回归问题时，我们需要对一些符号进行一定的约定，这样非常有助于后面的理解（这是真的，尤其是在Tensorflow或者CNTK等框架中，同样是这样的表述）。首先，logistic回归问题是一个二分类问题，即给定一些输入，输出只会有0或者1，正如下图所示，判断图片里的内容只有是不是猫两种答案原创 2017-09-01 19:39:22 · 1024 阅读 · 0 评论 -
神经网络与深度学习（3）
0.写在前面下面到了我们的神经网络与深度学习课程的作业环节了，由于在国内，所以有很多图片加载不出来，我只能臆想了。（这种简单的还好说，等到后面难的部分，我可想不出来。）1.习题1What does the analogy “AI is the new electricity” refer to?A. AI is powering personal devices in our homes and o原创 2017-08-31 11:31:31 · 3464 阅读 · 8 评论 -
神经网络与深度学习（2）
0. 写在前面在这一章中，我们主要讨论的是什么让深度学习流行起来的原因，以及在这门课中，我们将会学到什么。1.深度学习流行起来的原因深度学习的理论都已经存在几十年了，包括从1982年开始的反向传播算法开始，或者是更早的感知机模型，那么为什么直到最近深度学习才开始流行起来呢。首先我们先看一个图： 这张图的x轴表示数据量的大小（这里的数据指的是有标注的数据），从左到右越来越大。y轴表示性能表现，从原创 2017-08-31 10:34:59 · 1206 阅读 · 0 评论 -
神经网络与深度学习（1）
0. 写在前面这是吴恩达网易云课堂的视频笔记。1. 神经网络是什么吴恩达使用了一个简单的房屋预测问题来解释什么是神经网络。 即知道房子大小和房价，如何进行一个拟合。吴恩达给出的答案如下图，需要考虑价格为正的因素在内，那么这个拟合的线就变成了神经网络的常客——Relu函数（修正线性单元）。 这是一个最简单的神经网络，因为首先它的输入时一个单变量X，而不是向量X，另外它连感知单元（求和器）都没有，直原创 2017-08-30 14:36:32 · 1371 阅读 · 0 评论