3. 机器学习中为什么需要梯度下降_《深度学习500问》读书笔记One-机器学习部分...

参考https://github.com/scutan90/DeepLearning-500-questions很棒，很有用！！！

机器学习基础

1. 常见算法：回归算法，聚类算法，正则化方法，决策树学习，贝叶斯方法，基于核的算法，关联规则学习，人工神经网络，深度学习，集成算法......

2.计算图导数计算是反向传播，利用链式法则和隐式函数求导。

3.机器学习的学习方式：监督学习，非监督学习，半监督学习，弱监督学习

(1)监督式学习

常见应用场景如分类问题和回归问题。

算法举例：常见的有监督机器学习算法包括支持向量机(Support Vector Machine, SVM)，朴素贝叶斯(Naive Bayes)，逻辑回归(Logistic Regression)，K近邻(K-Nearest Neighborhood, KNN)，决策树(Decision Tree)，随机森林(Random Forest)，AdaBoost以及线性判别分析(Linear Discriminant Analysis, LDA)等。深度学习(Deep Learning)也是大多数以监督学习的方式呈现。

(2)非监督学习

常见应用场景：包括关联规则的学习以及聚类等。​

算法举例：常见算法包括Apriori算法以及k-Means算法。

(3)​半监督学习

常见应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，通过对已标记数据建模，在此基础上，对未标记数据进行预测。

​算法举例：常见算法如图论推理算法(Graph Inference)或者拉普拉斯支持向量机(Laplacian SVM)等。

(4)弱监督学习

算法举例：举例，给出一张包含气球的图片，需要得出气球在图片中的位置及气球和背景的分割线，这就是已知弱标签学习强标签的问题。

4.监督学习的步骤：

a.数据集的创建和分类

b.数据增强(Data Augmentation) ​

c.特征工程(Feature Engineering)

d.构建预测模型和损失

e.训练

f.验证和模型选择 ​

g.测试及应用 ​

---

5.常见算法

常见算法的比较，如果看不清，可以看github上的，我也是截的图

6.评估算法的好坏

7.线性回归和逻辑回归的区别

8.机器学习中为什么需要梯度下降

梯度下降是机器学习中常见优化算法之一，梯度下降法有以下几个作用：

(1)梯度下降是迭代法的一种，可以用于求解最小二乘问题。

(2)在求解机器学习算法的模型参数，即无约束优化问题时，主要有梯度下降法(Gradient Descent)和最小二乘法。

(3)在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。

(4)如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。

(5)在机器学习中，梯度下降法主要有随机梯度下降法和批量梯度下降法。

9.梯度下降法缺点

梯度下降法缺点有以下几点：

(1)靠近极小值时收敛速度减慢。

(2)直线搜索时可能会产生一些问题。

(3)可能会“之字形”地下降。

10.梯度概念也有需注意的地方：

(1)梯度是一个向量，即有方向有大小。

(2)梯度的方向是最大方向导数的方向。

(3)梯度的值是最大方向导数的值。

11.梯度下降方法比较

12.线性判别分析(LDA)和PCA的区别

13.模型评估

14.如何解决过拟合和欠拟合？

15.决策树(Decision Tree)的三要素？

​一棵决策树的生成过程主要分为下3个部分：

​1、特征选择：从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准，从而衍生出不同的决策树算法。

​2、决策树生成：根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则决策树停止生长。树结构来说，递归结构是最容易理解的方式。

​3、剪枝：决策树容易过拟合，一般来需要剪枝，缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。

16.决策树算法优缺点

决策树算法的优点：

1、决策树算法易理解，机理解释起来简单。

2、决策树算法可以用于小数据集。

3、决策树算法的时间复杂度较小，为用于训练决策树的数据点的对数。

4、相比于其他算法智能分析一种类型变量，决策树算法可处理数字和数据的类别。

5、能够处理多输出的问题。

6、对缺失值不敏感。

7、可以处理不相关特征数据。

8、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。

决策树算法的缺点：

1、对连续性的字段比较难预测。

2、容易出现过拟合。

3、当类别太多时，错误可能就会增加的比较快。

4、在处理特征关联性比较强的数据时表现得不是太好。

5、对于各类别样本数量不一致的数据，在决策树当中，信息增益的结果偏向于那些具有更多数值的特征。

今天就简单地看完了，似懂非懂，下次继续。