Neural NetWorking
Non-linear Hypotheses
当特征数量大时,在进行逻辑回归和线性回归时要包含所有的相关项,二项式的个数以n^2的量级增长,最终的结果可能过拟合,同时计算量也过大。
####Model Representation
x
0
x_0
x0为偏置单位,总是等于1,x是输入,
h
θ
(
x
)
h_\theta(x)
hθ(x)是输出,
θ
\theta
θ是权重即函数的参数,
h
θ
(
x
)
h_\theta(x)
hθ(x)和逻辑回归中的逻辑函数相同,在神经元中被称为激励函数
第一层是输入层,第二层是隐藏层,第三层是输出层,每条边上有一个权重
θ
\theta
θ
a
i
(
j
)
a_i^{(j)}
ai(j)表示第j层的第i个激励,所谓的激励是指由一个具体神经元读入、计算并输出的值
θ
j
\theta^j
θj第j层到第j+1层单元的权值矩阵
θ
j
\theta^j
θj的维数是
S
j
+
1
×
(
S
j
+
1
)
S_{j+1}\times(S_j+1)
Sj+1×(Sj+1),
S
j
S_j
Sj表示第j层的单元数
将上述的公式向量化
Examples and Intuitions
构造实现与功能的神经网络
构造实现或功能的神经网络
构造实现异或功能的神经网络
Mutlli-class Classification
为了将数据分类为多个类,我们让我们的假设函数返回一个值向量。假设我们想把我们的数据划分为四类之一。我们将使用下面的例子来了解这种分类是如何完成的。这个算法将输入一个图像并相应地进行分类