thefist的专栏

1. 神经网络和复合函数 y = f(u)， u = g(x) 嵌套结构的函数 f(g(x)) 称为 f(u) 和 g(x) 的复合函数。 2. 链式法则,复合函数求导公式 2.1 三个函数的复合函数的链式法则 2.2. 多变量函数的链式法则 变量 z 为 u、 v 的函数，如果 u、 v 分别为 x、 y 的函数，则 z 为 x、 y的函数 z 关于 x 求导时，先对 u、 v 求导，然后与 z 的相应导数相乘，最后将乘积加起来 在三个以上的变量的情况下也同样成立 ...

1. 多变量函数 有两个以上的自变量的函数 2. 偏导数（ partial derivative）：指明对哪一个变量进行求导，关于某个特定变量的导数。 关于 x 的偏导数： y 的偏导数： => 单变量函数 y = f (x) 在点 x 处取得最小值的必要条件是导函数在该点取值 0。 3. 拉格朗日乘数法 这个方法首先引入参数 λ，创建下面的函数 L 再加上 可得 ...

1. 张量 tension 2. 矩阵 Hadamard 乘积 转置矩阵（ transposed matrix）：矩阵 A 的，表示为： 3. 导数 y =f (x) 的导函数 f ‘(x): 当 ∆x 无限接近 0 时“(∆x 的式子 )”接近的值，f’(x) 表示图像切线的斜率 导数公式： 导数符号 3.1导数的线性性 和的导数为导数的和，常数倍的导数为导数的常数倍 3.2 分数函数的导数和 Sigmoid 函数的导数 Sigmoid 函数 σ(x)的导数 假设f(x)为

1. 一次函数 a 称为斜率， b 称为截距 2.二次函数 的几个图像为： 3.正态分布（ normal distribution） 常数 µ 称为期望值（ 平均值）， σ 称为标准差 标准正态分布：期望值 µ 为 0、标准差 σ 为 1 的正态分布的概率密度函数 正态分布随机数：按照正态分布产生的随机数 4.数列 有穷数列，首项，末项 通项公式： 将数列的第 n 项用一个关于 n 的式子表示出来 eg. an = 2n 递归定义:已知首项 a1 以及相邻两项 an、 an + 1 的关.

1. 问题：建立一个神经网络，用来识别通过 4× 3 像素的图像读取的手写数字 0 和 1。学习数据是 64 张图像，其中像素是单色二值。 手写数字 0 的图像 2. 将恶魔工作翻译成网络语言 3. 相关概念 神经网络的参数确定方法分为有监督学习和无监督学习 监督学习是指，为了确定神经网络的权重和偏置，事先给予数据，这些数据称为学习数据。根据给定的学习数据确定权重和偏置，称为学习。 最优化 计算神经网络得出的预测值与正解的误差，确定使得误差总和达到最小的权重和偏置。 代价函数

1. 从生物学的神经单元里模拟而来 2. 权重 3. 单位阶跃函数 4. 激活函数 -> 附注：a为激活函数 4.1Sigmoid 函数 输出值接近 1 表示兴奋度高，接近 0 则表示兴奋度低 ->将-θ改为b，b偏置（ bias） 5.向量内积 （ w1， w2， w3， b）（ x1， x2， x3， 1） 神经网络： 将神经单元的多个输入 x1, x2, …, xn 整理为加权输入 z。 神经单元通过激活函数 a(z)，根据加权输入 z 输出 y。 6.阶层