机器学习第六天：deep learning introduction

 

 

深度学习的三步：

第一步：神经网络

第二步：函数好处

第三步：选择最好的函数

不同的连接导致不同的网络结构

最常用的连接：完全连接前馈网络

有输入有输出就是一个函数

给定网络结构，定义function set

layer1的output就是layer2的input

deep要有很多层的layer

使用并行计算技术加速矩阵运算

可以用GPU加速

output layer之前可以看作feature extractor

output layer可以看作multi-class classifier,用softmax方式

涂颜色的是1，无颜色的是0

每个维度代表一个数字的置信度。

可以拿来做手写数字识别的function set，但有的好有的坏，从中选一个最好的

有多少的layer，就决定function set长的样子

您需要决定网络结构，以便在功能集中实现良好的功能。

做deep learning不需要好的feature，需要实验、错误和直觉

在function set中找一个function，或者找一组parameters可以minimize total loss L

minimize total loss L的方法就是gradient descent

alpha go用的就是gradient descent

backpropagation反向传播是计算微分的有效方式

越多的参数，表现得越好