神经网络笔记

什么是神经网络？

以房价为例，我们描出图中的这几个红点，如果用线性回归则会回归出这样一条直线，但是价格不能为负数，所以前面的全部归零（→ReLU函数：Rectified Linear Unit）

房子的大小(x)→回归处理→房子的价格（y），中间的就是一个小的神经元。又因为影响房价的因素还有很多，分别对应不用的函数，所以组在一起就是一个神经网络

（walkability→在附近走路的舒适程度）

图中的每一个神经元都可以是ReLU的一部分，或者是其他的非线性函数

递归神经网络（RNN）→适用于与时间有关的一维序列

监督学习Supervised Learning

结构化数据（structured data）→有一个数据库（大表格）定义不同参数之间的关联

非结构化数据（unstructured data）→一段录音，一张图片，一段文字

电脑一般更擅长理解结构化数据，而人更了解非结构化数据，神经网络则可以帮助电脑理解处理结构化数据

为什么近几年深度学习才兴起？

数据的量级大幅增加

以前在数据量不大的时候无论是机器学习还是深度学习，效果都没有特别大的差别，然而随着数据量的增大，机器学习就会变得越来越疲软，而深度学习仍然能有不错的表现，网络结构越大，就越能应付更多的数据

实际上有的时候可能在很小的数据集里面，普通的机器学习（如支持向量机SVM）表现的甚至还要比神经网络好一些，所以在数据量比较小的时候选择哪种算法要根据数据的特征来决定

---

神经网络正在逐渐变快

1. Sigmoid→ReLU

当数据很大或者很小的时候，Sigmoid的梯度会很小，因此处理起来就会很慢，然而用ReLU不仅可以让数据的梯度不会变为负值，而且梯度下降的算法运行的也会更快

(左：Sigmoid/Logistic，右：ReLU)

2. 研究者的创新

3. 硬件的提升（GPU）

二分类(Binary Classification)

逻辑回归（logistic regression）

输入：一张猫图，输出：1或0（是/不是猫）

在计算机中，输入一张图片=输入一个height*width*3的图片（3指红黄蓝三色，如果是灰度图像则为1）