thefist的专栏

1. 神经网络和复合函数y = f(u)， u = g(x)嵌套结构的函数 f(g(x)) 称为 f(u) 和 g(x) 的复合函数。2. 链式法则,复合函数求导公式2.1 三个函数的复合函数的链式法则2.2. 多变量函数的链式法则变量 z 为 u、 v 的函数，如果 u、 v 分别为 x、 y 的函数，则 z 为 x、 y的函数z 关于 x 求导时，先对 u、 v 求导，然后与 z 的相应导数相乘，最后将乘积加起来在三个以上的变量的情况下也同样成立...

1. 多变量函数有两个以上的自变量的函数2. 偏导数（ partial derivative）：指明对哪一个变量进行求导，关于某个特定变量的导数。关于 x 的偏导数：y 的偏导数：=>单变量函数 y = f (x) 在点 x 处取得最小值的必要条件是导函数在该点取值 0。3. 拉格朗日乘数法这个方法首先引入参数 λ，创建下面的函数 L再加上可得 ...

1. 张量 tension2. 矩阵Hadamard 乘积转置矩阵（ transposed matrix）：矩阵 A 的，表示为：3. 导数y =f (x) 的导函数 f ‘(x):当 ∆x 无限接近 0 时“(∆x 的式子 )”接近的值，f’(x) 表示图像切线的斜率导数公式：导数符号3.1导数的线性性和的导数为导数的和，常数倍的导数为导数的常数倍3.2 分数函数的导数和 Sigmoid 函数的导数Sigmoid 函数 σ(x)的导数假设f(x)为

1. 一次函数a 称为斜率， b 称为截距2.二次函数的几个图像为：3.正态分布（ normal distribution）常数 µ 称为期望值（ 平均值）， σ 称为标准差标准正态分布：期望值 µ 为 0、标准差 σ 为 1 的正态分布的概率密度函数正态分布随机数：按照正态分布产生的随机数4.数列有穷数列，首项，末项通项公式： 将数列的第 n 项用一个关于 n 的式子表示出来eg. an = 2n递归定义:已知首项 a1 以及相邻两项 an、 an + 1 的关.

1. 问题：建立一个神经网络，用来识别通过 4× 3 像素的图像读取的手写数字 0 和 1。学习数据是 64 张图像，其中像素是单色二值。手写数字 0 的图像2. 将恶魔工作翻译成网络语言3. 相关概念神经网络的参数确定方法分为有监督学习和无监督学习监督学习是指，为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习数据。根据给定的学习数据确定权重和偏置，称为学习。最优化计算神经网络得出的预测值与正解的误差，确定使得误差总和达到最小的权重和偏置。代价函数

1. 从生物学的神经单元里模拟而来2. 权重3. 单位阶跃函数4. 激活函数->附注：a为激活函数4.1Sigmoid 函数输出值接近 1 表示兴奋度高，接近 0 则表示兴奋度低->将-θ改为b，b偏置（ bias）5.向量内积（ w1， w2， w3， b）（ x1， x2， x3， 1）神经网络：将神经单元的多个输入 x1, x2, …, xn 整理为加权输入 z。神经单元通过激活函数 a(z)，根据加权输入 z 输出 y。6.阶层