深度学习笔记（一）:引言

神经网络的本质在于其能够通过学习大量数据中的模式和规律，实现对复杂问题的高效处理和解决。随着研究的深入和技术的进步，神经网络在处理更加复杂和抽象的任务方面展现出巨大的潜力。

神经网络在监督学习中的应用

神经网络特别适合于监督学习任务，因为它们能够自动从数据中学习复杂的特征表示。以下是神经网络在监督学习中的几种常见应用：

1. 回归任务：预测连续值，例如房价预测、股票价格分析等。（主要是简单的线性神经网络）
2. 分类任务：图像中物体的识别等，粗粒度/细粒度分类。（CNN）
3. 序列预测：处理时间序列数据，如自然语言处理中的文本生成、语音识别等。（RNN）
4. 更复杂的任务：对于自动驾驶等更复杂的任务，需要更加定制的神经网络结构

 深度学习的数据分类

结构化数据

结构化数据是指那些以预定义格式存储的数据，它们遵循特定的数据模型，结构化数据的特点是易于搜索、访问和分析，因为它们遵循固定的模式，如行和列的表格形式。

非结构化数据

非结构化数据是指那些没有固定格式或模式的数据，它们不遵循任何预定义的数据模型。非结构化数据的内容和形式多样，可以是文本、图像、音频或视频等。通常对于非结构化的数据进行学习，往往比结构化的数据困难得多。但是深度神经网络体现了良好的理解非结构化数据的能力。

深度学习领域的核心组成部分：

1. Data - 数据是数据科学和机器学习的基础。它包括原始数据的收集、存储、处理和管理。数据的质量、完整性和相关性对后续的分析和模型训练至关重要。在机器学习中，数据用于训练算法，以便模型能够学习和识别模式，进而进行预测或决策。

2. Computation - 计算是指执行数据处理和分析所需的计算过程。这包括数据的预处理、特征提取、模型训练和评估等。在机器学习中，计算通常涉及大量的数学运算，如线性代数、概率统计和优化算法。高效的计算方法可以加快模型训练的速度，提高模型的性能。

3. Algorithms - 算法是机器学习的核心，它们决定了如何从数据中学习和提取知识。更好的算法意味着更快的运行时间，更快的运行时间使得我们可以训练规模更大，更加复杂的神经网络。比如一个需要一个月训练的神经网络，

  比较 Sigmoid 和 ReLU

一方面，ReLU激活函数的计算更简单，它不需要如sigmoid激活函数那般复杂的求幂运算。 另一方面，当使用不同的参数初始化方法时，ReLU激活函数使训练模型更加容易。 当sigmoid激活函数的输出非常接近于0或1时，这些区域的梯度几乎为0，因此反向传播无法继续更新一些模型参数。 相反，ReLU激活函数在正区间的梯度总是1。 因此，如果模型参数没有正确初始化，sigmoid函数可能在正区间内得到几乎为0的梯度，从而使模型无法得到有效的训练。