深度学习笔记
AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
神经网络与深度学习(6)
1. 向量化1.1向量化是什么我们这里首先就要详细介绍一下向量化。 我们要向量化的地方主要是logsitic回归中的z=WTX+bz=W^TX+b中的循环计算,因为我们知道W和X都是向量,如果一定要实现的话,可能是这样子(原谅吴大大的真迹): 这样就需要很多循环嵌套,而如果使用向量化的话,那么算法就非常简单了: 只需要这样一句话,其核心就是np.dot(w,x),这是python里的数组原创 2017-09-03 20:56:20 · 1051 阅读 · 0 评论 -
神经网络与深度学习(7)
1. 向量化logistic回归中的梯度输出还记得我们上一节所讲的么,我们基本上消灭了2个循环,一个内循环,一个外循环。但是那都是建立在向量化的基础上。但这都只是在正向传播的过程中。在反向传播的部分,我们仍然可以使用向量化,来使得程序更加迅速的执行。在第五节的时候,我们讲过dz的计算:dz(i)=a(i)−y(i)dz^{(i)}=a^{(i)}-y^{(i)},那么根据我们上一节的经验,我们应该可原创 2017-09-04 21:50:52 · 1060 阅读 · 0 评论 -
神经网络与深度学习(8)
0. 写在前面又到了一周作业的时间了。只不过从第二周开始,我们增加了编程题作业。也就是说以后一周会有2份作业了。1. 习题1What does a neuron compute? A. A neuron computes a function g that scales the input x linearly (Wx + b)B. A neuron computes the mean of al原创 2017-09-05 19:33:57 · 3458 阅读 · 12 评论 -
神经网络与深度学习(3)
0.写在前面下面到了我们的神经网络与深度学习课程的作业环节了,由于在国内,所以有很多图片加载不出来,我只能臆想了。(这种简单的还好说,等到后面难的部分,我可想不出来。)1.习题1What does the analogy “AI is the new electricity” refer to?A. AI is powering personal devices in our homes and o原创 2017-08-31 11:31:31 · 3510 阅读 · 8 评论 -
神经网络与深度学习(2)
0. 写在前面在这一章中,我们主要讨论的是什么让深度学习流行起来的原因,以及在这门课中,我们将会学到什么。1.深度学习流行起来的原因深度学习的理论都已经存在几十年了,包括从1982年开始的反向传播算法开始,或者是更早的感知机模型,那么为什么直到最近深度学习才开始流行起来呢。首先我们先看一个图: 这张图的x轴表示数据量的大小(这里的数据指的是有标注的数据),从左到右越来越大。y轴表示性能表现,从原创 2017-08-31 10:34:59 · 1243 阅读 · 0 评论 -
神经网络与深度学习(1)
0. 写在前面这是吴恩达网易云课堂的视频笔记。1. 神经网络是什么吴恩达使用了一个简单的房屋预测问题来解释什么是神经网络。 即知道房子大小和房价,如何进行一个拟合。吴恩达给出的答案如下图,需要考虑价格为正的因素在内,那么这个拟合的线就变成了神经网络的常客——Relu函数(修正线性单元)。 这是一个最简单的神经网络,因为首先它的输入时一个单变量X,而不是向量X,另外它连感知单元(求和器)都没有,直原创 2017-08-30 14:36:32 · 1399 阅读 · 0 评论 -
神经网络与深度学习(4)
0. 写在前面从这一节开始,我们就进入到了第二周的学习,这才是真正的内容。1. 约定符号在我们开始讲logistic回归问题时,我们需要对一些符号进行一定的约定,这样非常有助于后面的理解(这是真的,尤其是在Tensorflow或者CNTK等框架中,同样是这样的表述)。首先,logistic回归问题是一个二分类问题,即给定一些输入,输出只会有0或者1,正如下图所示,判断图片里的内容只有是不是猫两种答案原创 2017-09-01 19:39:22 · 1053 阅读 · 0 评论 -
神经网络与深度学习(5)
1. 计算图模型计算图模型是深度学习与神经网络的基础。如果你对神经网络了解不是那么透彻的话,你可能是第一次听说计算图模型,计算图不仅仅可以用在深度学习中,它在其他领域也有相关的应用。在深度学习中,我们把一次训练过程看作是一个前向传播和后向传播相结合的过程。下面我们分别看一下前向传播和后向传播的过程。2. 前向传播前向传播就是传统的计算图,它可以把任意的计算式转换为计算图来进行理解和运行。下面我们就举原创 2017-09-02 11:15:07 · 1132 阅读 · 0 评论