机器学习（二）

六、机器学习中的特征选择：

6.1什么是特征选择？

            特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，

            特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯

            定比选择前小，毕竟我们只选择了其中的一部分特征。

 

6.2特征选择的主要方法（三大武器）：

            1.Filter(过滤式):VarianceThreshold

                    使用：sklearn.feature_selection.VarianceThreshold

                    语法：

                            

                    

                     流程：

                             

                    

            2.Embedded(嵌入式)：正则化、决策树

            3.Wrapper(包裹式)

 

七、机器学习中的降维技术（PCA主成分分析）：

7.1什么是PCA？

            PCA是一种分析、简化数据集的技术

            目的是压缩数据维数，尽可能降低原数据的维数（复杂度），损失少量信息。

            作用是可以削减回归分析或者聚类分析中特征的数量

 

7.2PCA的语法：

            

 

7.3PCA的使用流程：

            

 

八、机器学习基础：

8.1机器学习开发流程：

            

 

8.2机器学习模型：

            

 

8.3机器学习算法分类：

            1.监督学习：

                      分类：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络

                      回归：线性回归、岭回归

                      标注：隐马尔可夫模型

            2.无监督学习：

                      聚类：k-means

 

8.3机器学习算法定义：

            1.监督学习：可以由输入数据中学到或建立一个模型，

                                并依此模式推测新的结果。输入数据是由输入特征值和目标值所组成。

                                函数的输出可以是一个连续的值（称为回归），

                                或是有限个离散值（称作分类）

            

            2.无监督学习：可以由输入数据中学到或建立一个模型，

                                   并依此模式推测新的结果。输入数据是输入特征值所组成。

 

九、sklearn数据集：

9.1数据集划分：

            机器学习中一般的数据集会划分为两部分：

                   训练数据：用于训练，构建模型

                   测试数据：用于评估模型是否有效，在检验模型时使用

 

9.2sklearn中的数据集API：

                

 

        返回的类型：

                         

 

9.3sklearn中的分类数据集：

                                

    用于分类的大数据集：

                      sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)

                      参数解析：subset为要加载的数据集，'train'为训练，'test'为测试，'all'为二者都要

 

    清除目录下的数据集：

                      datasets.clear_data_home(data_home=None)

 

9.4sklearn中的数据集分割API：

                            

 

9.5sklearn中的回归数据集：

                                

 

9.6sklearn中机器学习算法的实现API—估计器（estimator）

9.6.1估计器的种类：

                            

 

9.6.2估计器的工作流程：

                            

 

十、分类算法中的k近邻算法

10.1定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)

                 的样本中的大多数属于某一个类别，则该样本也属于这个类别

 

10.2原理：

                计算两个样本的距离（欧式距离）公式：

                            

 

10.3 k近邻算法API：

                        

 

10.4k近邻算法实例：

                需求：预测用户的签到入住位置

                

                  

 

                    

 

10.5 k近邻算法总结：