cx0627year的博客

一、梯度下降法有关什么是梯度下降法，这在之前几周的学习中我们已经掌握了，这里简要分析。对于一个函数，我们在某一个点的next操作可以认为是跟这个点的导数有关的，因为导数会指引我们走向极值。然后我们每次根据这个点的导数向前走一步的过程中，我们用一个被称作学习率的东西来确定我们的步长。这种方法我们称之为梯度下降法。、二、浅层神经网络的梯度下降法浅层神经网络中的梯度下降法和之前...

一、为什么随机初始化在之前有关梯度下降法的blo中我们讨论了一个系数是如何在一个神经网络中进行迭代的，而一个迭代过程，不知道知道迭代是如何进行的，还要知道，迭代的初值是什么，这节课讨论的就是这个问题。那既然初始化是必要的，为什么一定要随机呢？考虑这样一个问题，在一个隐藏层中存在两个神经元，他俩的激活函数相同，那么如果給这俩神经元相同的初值，我们就会发现这来这个神经元是可以轮换的，也就是...

一、激活函数的导数有关每个函数的导数在前面的blo中已经很详细的写过了，这个不加赘述。值得一提的是有关ReLU函数在x=0处没有导数的问题。由于可以想想的是，我们的训练集的分散且巨大的，所以我们最终0点的情况非常少，可以忽略不计，因此我们取一个0左或者0右的导数定义0的导数就好了。...

一、为什么不能用非线性函数假如我们的神经网络的所有激活函数都是线性的函数，我们不妨想这么一个问题既然两个线性的函数是可以复合的，所以一个只由线性函数构成的神经网络的所有函数能不能复合成一个函数呢？显然是可以的，线性函数直接是可以自己复合成一个新的线性函数的，因此，我们如果只采用线性函数，就会发现一个有趣的结论：一个神经网络可以退化成一个独立的神经元这个结论来源于线性函数的复...

一、激活函数定义我们在研究一个神经元的时候（这里指生物学中的神经元），我们知道其有轴突和树突，可以传导冲动，同时我们还知道，冲动在传导的时候有一个阈值，低于某个值的冲动无法被传导或者传道的时候减弱了，所以其实神经冲动的传导是一个非线性的过程，我们在这里引入激活函数，也就是为了模拟这个非线性的过程，使得我们最终得到的神经网络是一个非线性的网络。我们常见的relu函数和这个过程基本一致，而别的...

一、这节设置的目的在前面的四节课以及之前学习中，吴恩达已经很详细讲解了向量化及其好处，这节课却反过来教学生如何进行向量化以及向量化为什么是对的，个人认为这节课的设置是有一些多余的，猜测其可能原因是想多举出一些例子让学生更好的理解浅层神经网络，可是从个人角度来说听课感觉不是很好，或许换种形式可能会更好。二、向量化计算的相关内容在之前的blog中已经有了较为详细的表述，这里不再赘...

一、为什么能够向量化大部分原因和前面blog中描述是一致的，这里又有了一点心得思考。如果我们在后面要进行梯度下降法或者别的什么方法进行回归计算或者别的深度学习的时候，我们总是要对整个神经网络的参数进行调整的，那么这个调整的过程需要确定两件事，调整谁，调多少，以及想明白一件事，为什么要调。显然，这个问题过于复杂，而且即使想出来了也没有太多的意义，毕竟神经网络中的某个神经元的意义没有过多的...

一、正向传播正向传播是指数据从X传入到神经网络，经过各个隐藏层得到最终输出的过程在计算一个神经网络的输出的时候，如果已知输入，那么就是一个标准的正向传播过程还是跟直接blog一样的例子在这个例子中，我们实际上是在对每一个输入，以及神经网络中的每一个神经元，这个构成好了的DAG进行了有方向（从输入到输出）有固定流程的操作，当然根绝前面的blog，这一过程可以自动化 ，向量化...

一、一些有关神经网络的符号约定这个在上篇blog中提了一部分，这里补充剩下的一部分我们对于加权函数一般记为z=w^T x+b，而激活函数一般使用a=g(z)表示对于最终的输出我们不妨记为y hat，尽管这个真的没有什么特别的意义二、神经网络的向量化在之前的学习中我们知道，无论是从书写计算等使用者的角度出发，还是从计算机尤其是python语言所自带的numpy包计算特性的角...

本章节主要讲述的是浅层神经网络。而这一节则是对整个章节的概览一、神经元神经网络，神经元连接而成的网络如图就是一个神经元，可以看出，有输出，有输出，中间经过了一些运算，这将来接下来的blog中进行讨论。这是一个基于losgitic回归函数的神经元的具体的例子。二、浅层神经网络在一个神经网络中，我们把输入称作输入层，输出称作输出层，其余内部的称作隐藏层。而...

废话：直接学jave的计划直接鸽了，后面有时间再补吧。小学期开课了，直接开始学py了正篇：介绍基本语法之前想聊聊自己对于标题后半段的理解。使用了问答的形式。Q1：为什么py没有++/--操作A1:py中同一个变量名能表示不同类型变量的根本原因是不同类型的变量存储的地址不同，而一个变量名中存储的是一个类似于地址的东西。每次该变量发生变化了，就新建一个新的变量，然后赋值，然后把这个变量的...