深度学习基本知识点

1.训练集、验证集、测试集。训练集、验证集和测试集。训练集用于训练模型，验证集用于模型的参数选择配置，测试集对于模型来说是未知数据，用于评估模型的泛化能力。初始化权重矩阵。

2.CNN(卷积)、RNN(循环)、GNN（混合）。
3.卷积：CV、循环：NLP、混合：图机构数据。
4.卷积：输入层、隐藏层、输出层；卷积层、池化层、全连接层。
5.卷积层：用卷积核进行卷积计算；池化层：提取特征；全连接层：分类器作用。
卷积层 – 主要作用是保留图片的特征
池化层 – 主要作用是把数据降维，可以有效的避免过拟合
全连接层 – 根据不同任务输出我们想要的结果
卷积取的是局部特征，全连接就是把以前的局部特征重新通过权值矩阵组装成完整的图。因为用到了所有的局部特征，所以叫全连接。
6.激活函数：加入非线性因素，常见：Sigmoid激活函数 Tanh激活函数 Relu激活函数 Leaky Relu激活函数。
7.损失函数（代价函数）：衡量预测值与实际值的偏离程度，损失函数越小，模型越好，常见：方差损失 Mean Squared Loss、平均绝对误差损失 Mean Absolute Error Loss、Huber Loss、分位数损失 Quantile Loss、交叉熵损失函数 Cross Entropy Loss（softmax函数）、Hinge 损失 Hinge Loss。
8.监督式学习的常见应用场景如：分类问题、回归问题。
9.机器学习算法分类：监督学习、无监督学习、强化学习。
10.机器学习基本算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均、随机森林、朴素贝叶斯、降维、梯度增强。
11.监督学习算法 (Supervised Algorithms）:从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。k-近邻算法、线性回归(Linear Regression)、逻辑回归(Logistic Regression)、支持向量机（Support Vector Machines,SVM）、决策树和随机森林（Decision Tree and Random Forests）神经网络（Neural networks）。
12.无监督学习算法 (Unsupervised Algorithms):输入数据没有被标记，也没有确定的结果。样本数据类别未知，需要根据样本间的相似性对样本集进行分类（聚类，clustering）试图使类内差距最小化，类间差距最大化。
13.强化学习算法（半监督学习） (Reinforcement Algorithms):强化学习普适性强，主要基于决策进行训练，算法根据输出结果（决策）的成功或错误来训练自己，通过大量经验训练优化后的算法将能够给出较好的预测。类似有机体在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。
14.K折交叉验证：将数据集无替换的随机分为k份，k-1份用来训练模型，剩下一份用来模型性能评估。重复k次，得到k个模型和性能评估结果。得到k个性能评估后，取平均求出最终性能评估。