【机器学习 李宏毅】第一章 深度学习简介

一、前馈神经网络简介

        将多个Logistic Regression以不同的结构前后连接起来，叫做Neural Network，其中每一个Logistic Regression是一个neuron。

1.1 fully connected feedforward network前馈神经网络

 

•  input layer，输入层
•  output layer，输出层
•  hidden layer，隐藏层

       

        output layer只是对hidden layers的输出利用softmax函数作归一化处理，突出极大值。hidden layers部分，可以看做feature extractor(特征提取器)，代替了我们之前手动做feature engineering，feature transformation，经过这个feature extractor得到的、、...、 ​就可以被当作一组新的feature vector，经过feature extractor转换后会得出比较好的feature，这个feature可以更容易将数据区分开。

        output layer部分，它是一个softmax层，可以看做Multi-class classifier(多分类器)，它是拿经过feature extractor转换后的feature进行分类的。

        对于分类个体，其输入的feature vector的维数确定，input layer的维数与其相同，而output layer的维数则与类别数量相同，但hidden layer的结构未知，而设计这个network structure是最为关键的部分。

        deep就是有多个隐藏层

1.2神经网络中的矩阵计算

        不同的可构成一组不同的函数集（function set)        

 1.3 损失——交叉熵

1.4优化