参考https://github.com/scutan90/DeepLearning-500-questions很棒,很有用!!!
机器学习基础
1. 常见算法:回归算法,聚类算法,正则化方法,决策树学习,贝叶斯方法,基于核的算法,关联规则学习,人工神经网络,深度学习,集成算法......
2.计算图导数计算是反向传播,利用链式法则和隐式函数求导。
3.机器学习的学习方式:监督学习,非监督学习,半监督学习,弱监督学习
(1)监督式学习
常见应用场景如分类问题和回归问题。
算法举例:常见的有监督机器学习算法包括支持向量机(Support Vector Machine, SVM),朴素贝叶斯(Naive Bayes),逻辑回归(Logistic Regression),K近邻(K-Nearest Neighborhood, KNN),决策树(Decision Tree),随机森林(Random Forest),AdaBoost以及线性判别分析(Linear Discriminant Analysis, LDA)等。深度学习(Deep Learning)也是大多数以监督学习的方式呈现。
(2)非监督学习
常见应用场景:包括关联规则的学习以及聚类等。
算法举例:常见算法包括Apriori算法以及k-Means算法。
(3)半监督学习
常见应用场景包括分类和回归,算法包括一些对常用监督式学习算法的延伸,通过对已标记数据建模,在此基础上,对未标记数据进行预测。
算法举例:常见算法如图论推理算法(Graph Inference)或者拉普拉斯支持向量机(Laplacian SVM)等。
(4)弱监督学习
算法举例:举例,给出一张包含气球的图片,需要得出气球在图片中的位置及气球和背景的分割线,这就是已知弱标签学习强标签的问题。
4.监督学习的步骤:
a.数据集的创建和分类
b.数据增强(Data Augmentation)
c.特征工程(Feature Engineering)
d.构建预测模型和损失
e.训练
f.验证和模型选择
g.测试及应用
5.常见算法
![c21c42f160a4d20129d764278c2ddbe1.png](https://i-blog.csdnimg.cn/blog_migrate/75e6491bf3e572541a96f514e26ee3b7.jpeg)
常见算法的比较,如果看不清,可以看github上的,我也是截的图
6.评估算法的好坏
7.线性回归和逻辑回归的区别
![160f66eaa9847510f2bc3a8c2ed8bad6.png](https://i-blog.csdnimg.cn/blog_migrate/ce132d71423a5c3ee21ef5ca2d799d01.jpeg)
8.机器学习中为什么需要梯度下降
梯度下降是机器学习中常见优化算法之一,梯度下降法有以下几个作用:
(1)梯度下降是迭代法的一种,可以用于求解最小二乘问题。
(2)在求解机器学习算法的模型参数,即无约束优化问题时,主要有梯度下降法(Gradient Descent)和最小二乘法。
(3)在求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。
(4)如果我们需要求解损失函数的最大值,可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。
(5)在机器学习中,梯度下降法主要有随机梯度下降法和批量梯度下降法。
9.梯度下降法缺点
梯度下降法缺点有以下几点:
(1)靠近极小值时收敛速度减慢。
(2)直线搜索时可能会产生一些问题。
(3)可能会“之字形”地下降。
10.梯度概念也有需注意的地方:
(1)梯度是一个向量,即有方向有大小。
(2)梯度的方向是最大方向导数的方向。
(3)梯度的值是最大方向导数的值。
11.梯度下降方法比较
![e57950057ca0185fe428507728add5b7.png](https://i-blog.csdnimg.cn/blog_migrate/5e00003f8bb1f6fe562aa9aa2dd719a7.jpeg)
12.线性判别分析(LDA)和PCA的区别
![9dde22066b8660c44f71f82c45f320cb.png](https://i-blog.csdnimg.cn/blog_migrate/a2ee1e26badd91cff4d8052f844b9dfd.jpeg)
13.模型评估
![d5c0adee773d94ddf4a9a18f2cb01e9a.png](https://i-blog.csdnimg.cn/blog_migrate/9673009efe0ac6e452e7f4f53c8743d8.jpeg)
14.如何解决过拟合和欠拟合?
![e8ac27647b9552365dc7d3744017a948.png](https://i-blog.csdnimg.cn/blog_migrate/b2cd0aca0a9efe86bf429be79e41a5fc.jpeg)
15.决策树(Decision Tree)的三要素?
一棵决策树的生成过程主要分为下3个部分:
1、特征选择:从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准,如何选择特征有着很多不同量化评估标准,从而衍生出不同的决策树算法。
2、决策树生成:根据选择的特征评估标准,从上至下递归地生成子节点,直到数据集不可分则决策树停止生长。树结构来说,递归结构是最容易理解的方式。
3、剪枝:决策树容易过拟合,一般来需要剪枝,缩小树结构规模、缓解过拟合。剪枝技术有预剪枝和后剪枝两种。
16.决策树算法优缺点
决策树算法的优点:
1、决策树算法易理解,机理解释起来简单。
2、决策树算法可以用于小数据集。
3、决策树算法的时间复杂度较小,为用于训练决策树的数据点的对数。
4、相比于其他算法智能分析一种类型变量,决策树算法可处理数字和数据的类别。
5、能够处理多输出的问题。
6、对缺失值不敏感。
7、可以处理不相关特征数据。
8、效率高,决策树只需要一次构建,反复使用,每一次预测的最大计算次数不超过决策树的深度。
决策树算法的缺点:
1、对连续性的字段比较难预测。
2、容易出现过拟合。
3、当类别太多时,错误可能就会增加的比较快。
4、在处理特征关联性比较强的数据时表现得不是太好。
5、对于各类别样本数量不一致的数据,在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。
今天就简单地看完了,似懂非懂,下次继续。