MachineLearning-Neural Network与Logistic Regression关系

神经网络与逻辑回归的关系：
	逻辑回归就是没有隐含层的神经网络。
	两个的假设函数都是 h(x) = sigmoid(theta * x)

1.神经网络：

1.1 为什么需要神经网络
	当一个非线性分类，特征数很大时，使用逻辑回归会导致 theta 出现很多高阶项，
	计算效率下降，才能对训练集完成拟合。
	这时逻辑回归分类器就不适用了。

1.2 神经网络 图解：

第一列为输入层，第二列，第三列是隐含层，h(x)是输出层。
theta 的带括号的上标j，是指在神经网络的第j层到第j+1层的权重
theta 的右下标，两位数，第一位是目的地神经元，第二位是源头神经元，反过来了。

1.3 神经网络 向量化实现（Vectorized Implementation）

把各层都用向量矩阵展现：
a 就是 x
然后就是从第一层输入，经过与 theta 权重相乘，输出到下一层，不断迭代

1.4 神经网络 代价函数如图：

其实与逻辑回归主题函数相同，多了很多嵌套。

术语：
m  — 训练example的数量
K   — 最后一层（输出层）的神经元的个数，也等于分类数（分K类，K≥3）
L  — 神经网络总共的层数（包括输入层和输出层）
Θ(l)  — 第l层到第l+1层的权重矩阵
sl  — 第l层神经元的个数, 注意i从1开始计数，bias神经元的权重不算在正则项内
sl+1  — 第l+1 层神经元的个数

y(i)k  — 第i个训练exmaple的输出(长度为K个向量)的第k个分量值
(hθ(x(i)))k  — 对第i个example用神经网络预测的输出(长度为K的向量)的第k个分量值

2. 神经网络与逻辑回归的关系：
	theta一维的就是逻辑回归
	theta是个矩阵的能产生多个输出，在加上多层的话就是神经网络