deep learning的三步:
- define a set of function(neural network)
- goodness of function
- pick the best function
Neural Network
多个logistic regression连接起来,每一个logistic regression是一个neural,每个neural都有自己的weight和bias,集合起来构成整个network的parameter
连接方式:
最常见的fully connect Feedforward Network
neuron排成一排,weight和bias是通过training data找出来的,得出参数以后,神经网络是一个function,输入一个向量,输出一个向量
如果我们还不知道parameter,只是确定了network的structure,只是决定好这些neuron该怎么连接在一起,这样的一个network structure其实是define了一个function set,我们给这个network设不同的参数,它就变成了不同的function
只不过我们用neural network决定function set的时候,这个function set是比较大的,它包含了很多原来做Logistic Regression、做linear Regression所没有包含的function
fully connect含义:前一层与后一层之间两两连接
deep含义:many hidden layers
feedforward含义:前反馈,传递方向从前到后
matrix operation
把weight向量排列成矩阵
整个神经网络就是一连串矩阵运算,写成矩阵运算的好处是可以用GPU加速
每一个neuron里面的sigmoid function,在Deep Learning中被称为activation function(激励函数),事实上它不见得一定是sigmoid function,还可以是其他function(tanh、softmax)
最后output layer是一个多分类的分类器
example
图像识别
输入:256维向量
输出:10维向量
中间神经网络结构?几层?每层多少神经元?
loss function
如何决定一组参数的好坏?
找参数使得交叉熵最小
方法:
gradient descent
back propagation
反向传播——用来计算梯度