机器学习 | Week4-Neural Networks Representation神经网络：表达

作为英语课程，读中文参考资料的确有助于理解，但是出于对以后更长久的学习优势考虑，笔记中我会尽量采用英文来表述，这样有助于熟悉专有名词以及常见语法结构，对于无中文翻译的资料阅读大有裨益。

Week4-Neural Networks Representation神经网络：表达

一、Non-linear Hypothesis非线性模型（经过考虑，事实上hypothesis这里更像一个模型而非假设，事实上吴恩达在week1的课程中也指出hypothesis这个叫法不够恰当，但是大家都这么叫也就沿袭了）

Linear regression and Logistic regression都需要过多的features，这会导致拟合计算量极大

• 线性回归和逻辑回归都是多项式

• 使用排列组合决定参数数目的的非线性形式多项式

  

但是计算量肉眼可见依然极其庞大，因此引入一种存在很久的古老算法——Nerual Networks神经网络

第一块的第二节视频介绍了一下历史，etc.略过

二、Model Representation模型表示

1. neuron model：logistic unit

   
   1. activation unit 激活单元
   2. weight 权重$\theta$, or paramaters 参数
   3. input units输入单元
   4. 第一层input layer，最后一层output layer，中间层为hidden layers，每一层可以加一个偏差单位bias unit（==1）

2. Neural Network

   

   1. $a_i^j$：=activation of unit i in layer j ；第j层的第i个神经元的激励，指输入后一个神经元得到的输出值

   2. ${\Theta }^j$权重矩阵，控制着从j到j+1层的映射

   3. g：激励函数

      

   4. j层有$s_j$个神经元，j+1层有 s