机器学习概述

最新推荐文章于 2024-07-10 17:21:21 发布

南方的树～

最新推荐文章于 2024-07-10 17:21:21 发布

阅读量220

点赞数 1

分类专栏： python 文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_42384085/article/details/95042049

版权

python 专栏收录该内容

20 篇文章 1 订阅

订阅专栏

机器学习开发流程

原始数据
明确问题做什么，建立模型的过程（根据数据类型划分应用种类）
数据的基本处理（pandas，处理缺失值，表合并。。。）
特征工程（特征进行处理）
找到合适的算法进行预测
模型的评估（模型：算法+数据），判定效果
上线使用----以API形式提供

机器学习算法分类

算法是核心，数据和计算是基础
算法判别依据
数据类型
- 离散型数据：由记录不同类别个体的数目所得到的数据，又称计数数据，所以有这些数据全部都是整数，而且不能再细分，也不能进一步提高它的精确度。
- 连续型数据：变量可以在某个范围内取任一数，即变量的取值可以是连续的。如，长度、时间、质量值等，这类整数通常是非整数，含有小数部分。
- 注意：只要记住一点，离散型是区间内不可分，连续型是区间内可分。
算法分类
- 监督学习（预测）
  - 特征值+目标值
  - 分类：目标值离散型
  - 概念：分类是监督学习的一个核心问题，在监督学习中，当输出变量取有限个离散值时，预测问题变成为分类问题，最基础的便是二分类问题，即判断是非，从两个类别中选择一个作为预测结果
    - K-近邻算法
    - 贝叶斯分类
    - 决策树
    - 随机森林
    - 逻辑回归
    - 神经网络
  - 回归：目标值连续型
  - 概念：回归时监督学习的另一个重要问题。回归用于预测输入变量和输出变量之间的关系，输出是连续型的值。
    - 线性回归
    - 岭回归
  - 注：隐马尔可夫模型
- 无监督学习
  - 特征值
  - 聚类
    - K-means

sklearn数据集

scikit-learn数据集API介绍
- sklearn.datasets
  - 加载获取流行数据集
  - datasets.load_*()
    - 获取小规模数据集，数据包含在datasets里
  - datasets.fetch_*(data_home=None)
    - 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录，默认是～/scikit_learn_data/
- 获取数据集返回的类型
- load和fetch返回的数据类型datasets.base.Bunch(字典格式)
  - data：特征数据数组，是[n_samples*n_features]的二维numpy.ndarray数组
  - target：标签数组，是n_samples的一维numpy.ndarray数组
  - DESCR：数据描述
  - feature_names:特征名。新闻数据，手写数字、回归数据集没有feature_names
  - target_names:标签名
- fit_transform(X):输入数据直接转换
- fit():输入数据，但不做事情
- transform():进行数据的转换
- fit_transform() = fit() + transform()

1，数据集划分
- 训练集：建立模型
- 测试集：评估模型是否有效
- sklearn数据集划分API
  - sklearn.model_selection.train_test_split
  - 数据集进行分割
- sklearn分类数据集
  - sklearn.datasets.load_iris()
    - 加载并返回鸢尾花数据集
  - sklearn.datasets.load_digits()
    - 加载并返回数字数据集
- sklearn回归数据集
  - sklearn.datasets.load_boston()
    - 加载并返回波士顿房价数据集
  - sklearn.datasets.load_diabetes()
    - 加载和返回糖尿病数据集
- sklearn.model_selection.train_test_split(*arrays,**options)
  - x 数据集的特征值
  - y 数据集的标签值
  - test_size 测试集的大小，一般为float
  - random_state 随机数种子，不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
  - return 训练集特征值，测试集特征值，训练标签，测试标签（默认随机取）
- 用于分类的大数据集
  - sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
    - subset:‘train’或者’test’,‘all’,可选，选择要加载的数据集，训练集的‘训练’，测试集的‘测试’，两者的‘全部’。
  - datasets.clear_data_home(data_home=None)
    - 清楚目录下的数据
2，sklearn数据集接口
3，sklearn分类数据集
4，sklearn回归数据集

sklearn机器学习算法实现-估计器

在sklearn中，估计器（estimastor）是一个重要的角色，是一类实现了算法的API
1，用于分类的估计器
- sklearn.neighbors K-近邻算法
- sklearn.naive_bayes 贝叶斯
- sklearn.linear_model.LogisticRegression 逻辑回归
- sklearn.tree 决策树与随机森林
2，用于回归的估计器
- sklearn.linear_model.LinearRegression 线性回归
- sklearn.linear_model.Ridge 岭回归
估计器使用流程
- 1,调用fit()，参数是训练集数据:fit(x_train,y_train)
- 2,输入与测试集数据（x_test,y_test）
1,y_predict = predict(X_test)
2,预测的准确率：socre(X_test,y_test)

分类算法-K近邻算法(KNN)

定义：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别
来源：KNN算法最早是由Cover和Hart提出的一种分类算法
计算距离公式
- 两个样本的距离可以通过如下公式计算，又叫欧式距离。比如说，a(a1,a2,a3),b(b1,b2,b3)
- 相似的样本，特征之间的值应该都是相近的
- K-近邻算法：需要做标准化处理
- sklearn K-近邻算法API
  - sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)
    - n_neighbors:int,可选（默认=5），k_neighbors查询默认使用的邻居数
    - algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近领居的算法：'ball_tree’将会使用BallTree，'kd_tree’将使用KDTree。'auto’将尝试根据传递给fit方法的值来决定最合适的算法。（不同实现方式影响效率）。
    - 在KNN算法实现实例中需要注意
      - 数据处理
        
        1，缩小数据集范围：DataFrame.query()
        
        2,怎么处理日期数据：pd.to_datetime，pd.DatetimeIndex
        
        3,增加分割的日期数据
        
        4，删除没用的日期数据：DataFrame.drop
        
        5,将签到位置少于n个用户的删除
        
        place_count = data.groupby(‘place_id’).count() 以place_id分组并统计次数
        
        tf = place_count[place_count.row_id > 3].reset_index()
        
        data = data[data[‘place_id’].isin(tf.place_id)]
    - K-近邻算法优缺点
      - 优点：简单，易于理解，易于实现，无需估计参数，无需训练
      - 缺点：
        1，懒惰算法，对测试样本分类时的计算量大，内存开销大
        2，必须指定K值，K值选择不当则分类精确度不能保证
      - 使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

KNN算法

from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd


def knncls():
    """
    K-近邻预测用户签到位置
    :return:None
    """
    # 读取数据
    data = pd.read_csv("./data/FBlocation/train.csv")

    # print(data.head(10))

    # 处理数据
    # 1、缩小数据,查询数据筛选
    data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

    # 处理时间的数据
    time_value = pd.to_datetime(data['time'], unit='s')

    print(time_value)

    # 把日期格式转换成 字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 构造一些特征
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 把时间戳特征删除
    data = data.drop(['time'], axis=1)

    print(data)

    # 把签到数量少于n个目标位置删除
    place_count = data.groupby('place_id').count()

    tf = place_count[place_count.row_id > 3].reset_index()

    data = data[data['place_id'].isin(tf.place_id)]

    # 取出数据当中的特征值和目标值
    y = data['place_id']

    x = data.drop(['place_id'], axis=1)

    # 进行数据的分割训练集合测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（标准化）
    std = StandardScaler()

    # 对测试集和训练集的特征值进行标准化
    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 进行算法流程 # 超参数
    knn = KNeighborsClassifier()

    # # fit， predict,score
    # knn.fit(x_train, y_train)
    #
    # # 得出预测结果
    # y_predict = knn.predict(x_test)
    #
    # print("预测的目标签到位置为：", y_predict)
    #
    # # 得出准确率
    # print("预测的准确率:", knn.score(x_test, y_test))

    # 构造一些参数的值进行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 进行网格搜索
    gc = GridSearchCV(knn, param_grid=param, cv=10)

    gc.fit(x_train, y_train)

    # 预测准确率
    print("在测试集上准确率：", gc.score(x_test, y_test))

    print("在交叉验证当中最好的结果：", gc.best_score_)

    print("选择最好的模型是：", gc.best_estimator_)

    print("每个超参数每次交叉验证的结果：", gc.cv_results_)

    return None


if __name__ == '__main__':
    knncls()

分类算法-朴素贝叶斯算法

朴素贝叶斯使用场景：特征独立
朴素贝叶斯公式
公式分为三部分：
- P©:每个文档类别的概率（某文档类别数/总文档数量）
- P(W/C):给定类别下特征（被预测文档中出现的词）的概率
  - 计算方法：P(F1|C) = Ni/N (训练文档中去计算)
    - Ni为该F1词在C类别所有文档中出现的次数
    - N为所属类别C下的文档所有词出现的次数和
- P(F1,F2,…) 预测文档中每个词的概率
拉普拉斯平滑系数
- 解决词频列表里很多出现次数为0的现象。
- 公式：P(F1|C) = (Ni+a)/(N+am)
  - a为指定的系数一般为1，m为训练文档中统计出的特征词个数

联合概率和条件概率

联合概率：包含多个条件，且所有条件同时成立的概率
- 记作：P(A,B): P(A,B)=P(A)P(B)
条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
- 记作：P(A|B)
- 特性：P(A1,A2|B)=P(A1|B)P(A2|B)
- 注意：此条件概率的成立，是由于A1，A2相互独立的结果

sklearn朴素贝叶斯实现API

sklearn.naive_bayes.MultinomialNB
MultinomialNB函数
- sklearn.naive_bayes.MultinomialNB(alpha=1.0)
  - 朴素贝叶斯分类
  - alpha：拉普拉斯平滑系数
注意：
- 训练集误差大的化，它的结果肯定不好。
- 不需要调参
朴素贝叶斯分类的优缺点
- 优点：
  - 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率
  - 对缺失数据不太敏感，算法也比较简单，常用于文本分类
  - 分类准确度高，速度快
- 缺点：
  - 由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好。

分类模型的评估

estimator.score()
- 一般最常见使用的是准确率，即预测结果正确的百分比

混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)
引出评估标准
- 准确率
- 精确率和召回率
分类模型评估API
sklearn.metrics.classification_report(y_true,y_pred,target_names=None)
- y_true:真实的目标值
- y_pred:估计器预测目标值
- target_names:目标类别名称
- return:每个类别精确率与召回率

模型的选择与调优

1，交叉验证
- 所有数据分成n等分，求平均模型结果
- [外链图片转存失败(img-9tbadnUW-1562536973273)(/Users/mac/Desktop/spider/机器学习/机器学习概述/2.jpeg)]
- 目的：为了让被评估的模型更加准确可信
2，超参数搜索-网格搜索
- 调参数----K-近邻
- 通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的k值），这种叫超参数。但是手动过程很复杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型
- 超参数搜索-网格搜索API
- sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)
  - 对估计器的指定参数值进行详尽搜索
  - estimator：估计器对象
  - param_grid:估计器参数（dict）{“n_neighbors”:[1,3,5]}
  - cv:指定几折交叉验证
  - fit：输入训练数据
  - score：准确率
  - 结果分析：
    - best_score_:在交叉验证中验证的最好结果
    - best_estimator_:最好的参数模型
    - cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

朴素贝叶斯

from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report

def naviebayes():
    '''
    朴素贝叶斯进行文本分类
    :return:
    '''
    news = fetch_20newsgroups(subset='all')

    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以训练集当中的词的列表进行每篇文章重要性统计
    x_train = tf.fit_transform(x_train)

    print(tf.get_feature_names())

    x_test = tf.transform(x_test)

    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)

    print(x_train.toarray())

    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)
    print("预测的文章类别为：", y_predict)

    # 得出准确率
    print("准确率为：", mlt.score(x_test, y_test))

    print("每个类别的精确率和召回率：",classification_report(y_test,y_predict,target_names=news.target_names))

    return None


if __name__ == '__main__':
    naviebayes()

南方的树～

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
机器学习概述

机器学习开发流程原始数据明确问题做什么，建立模型的过程（根据数据类型划分应用种类）数据的基本处理（pandas，处理缺失值，表合并。。。）特征工程（特征进行处理）找到合适的算法进行预测模型的评估（模型：算法+数据），判定效果上线使用----以API形式提供机器学习算法分类算法是核心，数据和计算是基础算法判别依据数据类型离散型数据：由记录不同类别个体的数目所...
复制链接

扫一扫

专栏目录