Python学习笔记--基础分类算法

分类算法–k-近邻算法

定义：如果一个样本在特征空间中的k个最相似（即特征空间中最临近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。
k-近邻算法需要做标准化
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algroithm=“auto”)
n_neighbors:int 可选，（默认=5），k+neighbors查询默认使用的邻居数
algorithm:{‘quto’,‘ball_tree’,‘kd_tree’,‘brute’}，可选用与计算帋邻居的算法；‘ball_tree’将会使用BallTree,'kd_tree’将使用KDTree。‘auto’将尝试根据传递给fit方法方法的值来决定最合适的算法。（不同实现方式影响效率）
练习思路：
分类：特征值：x,y坐标，定位准确性，年，日，时，轴 目标值：入住位置的Id
处理：
1.由于数据量大、节省时间x，y缩小
2.时间戳进行（年，月，日，轴，时分秒）pd.to_datatime，当做新的特征
3.几千~几万，少于指定签到人数的位置删除

from sklearn.neighbors import KNeighborsClassifier
import  pandas as pd
from sklearn.preprocessing import StandardScaler
def knncls():
    '''k_近邻预测用户签到位置：retirm:None
    '''
    ##读取数据
    data=pd.read_csv()
    print(data(10))
    ##处理数据

    ##1缩小数据范围，查询数据筛选
    data=data.query('x>1.0&x<1.25&y>205%y<2.75')  ##类似一个查询语句，字符换
    ##2处理时间的数据
    time_value=pd.to_datetime(data['time',unit='s'])

    print(time_value)
    #把日期格式转换成字典模式
    time_value=pd.DatetimeIndex(time_value)
    ##构造一些特征
    data['data']=time_value.day
    data['hour']=time_value.hour
    data['weekday']=time_value.weekday
    ##把时间戳特征删除
    data.drop(data['time'],axis=1)  #pandas1为列 sklearn 0为列
    print(data)

    ##把签到数量少于n个目标位置删除
    place_count=data.groupby('place_id').count()
    tf=place_count[place_count.row_id>3].reset_index()
    data=data[data['place_id'].isin(tf.place_id)]
    ##取出数据当中的特征值和目标值
    y=data['place_id']
    x=data.drop([place_id],axis=1)
    ##进行数据分割，将数据分成数据集和测试集
    x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)
    ##

    ##特征工程（标准化）
    std=StandardScaler()
    #对测试集和训练集的特征值进行标准化
    x_train=std.fit_transform(x_train)
    x_test=std.transform(x_test)
    #进行算法流程
    knn=KNeighborsClassifier(n_neighbors=5)
    #fit,predict,score
    knn.fit=(x_train,x_test)
    ##得出预测结果
    y_predict=knn.predict(x_test)
    print("预测目标签到位置："，y_test)
    ##得出准确率
    print("预测准确率：",knn.score(x_test,y_test))
    return None

if __name__ == "__main__":
    knncls()

总结：
1.k值取多大？有什么影响？
k值取很小：受异常点影响
k值取很大：容易手k值数量（类别）波动
2.性能问题：
使用场景：小数据场景，几千几万样本。
优点：无需估计参数，无需训练
缺点：计算量大，内存开销大
必须指定k值，k值选择不当则分类精度不能保证

分类算法-朴素贝叶斯算法

1.朴素贝叶斯：特征独立
朴素贝叶斯公式：
训练集：
如果某一概率出现0，可加一个拉普拉斯平滑系数进行平滑。
sklearn朴素贝叶斯实现API
sklearn.naive_bayes.MultinomialNB:
sklearn.naive_bayes.MultinomialNB(alpha=1.0)
alpha:拉普拉斯平滑系数
流程：
1.加载20类新闻数据，并进行分割
2.生成文章特征词
3.朴素贝叶斯estimator流程进行预估

训练集误差大，结果不好，不需要调参数

def naviebayes():
    '''朴素贝叶斯进行文本分类
    ：:return:None'''
    #加载数据
    news=fetch_20newsgroups(subset='all')
    ##进行数据分割
    x_train,x_test,y_train,y_test=train_test_split(news.data,news.target,test_size=0.25)

    ##对数据集进行特征提取
    tf=TfidfVectorizer()
    ##以训练集当中的词的列表进行每篇文章重要性统计
    x_train=tf.fit_transform(x_train)
    print(tf.get_feature_names())
    x_test=tf.fit_transformx(x_test)
    ##进行朴素贝叶斯算法的预测
    mlt=MultinomialNB(alpha=1.0)
    print(x_train.toarray())
    mlt.fit(x_train,y_train)
    y_predict=mlt.predict(x_test)
    print('预测文章的类别为：',y_predict)
    ##得出准确率
    print('准确率为：'mlt.score(x_test,y_test))



    return None


if __name__ == "__main__":
    naviebayes()

优点：有稳定的分类效率
对缺失数据不太敏感，算法比较简单，常用于文本分类
分类准确度高，速度快
缺点：
使用了样本属性独立性的假设，如果样本属性有关联效果不好。

分类模型的评估
1.estimator.score() 一般常见使用的是准确率，即预测结果正确的百分比
2.混淆矩阵：
精确率：预测结果为正例样本中真是为正例的比例（查的准），用得少
召回率：真实为正例的样本找那个预测结果为正例的比例（查的全，对正样本的区分能力）
其他分类标准
F1-score：
分类模型评估API
sklearn.metrics.classification_report
sklearn.metrics.classification_report(y_true,y_pred,target_names=None)
sklearn.metrics.classification_report(y_true,y_pred,target_names=None)
y_true:真实目标值
y_pred:估计器预测目标值
target_names:目标类别名称
return：每个类别精确率与召回率

    print('每个类别的精确率和召回率',classification_report(y_test,y_predict,target_names=news.target_names))

模型选择与调优

1.交叉验证
为了让被评估的模型更加准确可信
训练集和验证集

2.网格搜索
调参数
sklearn.model_selection.GridSearchCV(estimator,para,grid=None,cv=None)
对估计器的指定参数值进行详尽搜索
estimator:估计器对象
param_grid:估计器参数（dict）{‘n_neighbors’:[1,3,5]}
cv:指定几折交叉验证
fit:输入训练数据
score:准确率
结果分析：
best_score:在交叉验证中验证的最好结果
best_estimator:最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和验证集和训练集准确率结果

def knncls():
    '''k_近邻预测用户签到位置：retirm:None
    '''
    ##读取数据
    data=pd.read_csv()
    print(data(10))
    ##处理数据

    ##1缩小数据范围，查询数据筛选
    data=data.query('x>1.0&x<1.25&y>205%y<2.75')  ##类似一个查询语句，字符换
    ##2处理时间的数据
    time_value=pd.to_datetime(data['time',unit='s'])

    print(time_value)
    #把日期格式转换成字典模式
    time_value=pd.DatetimeIndex(time_value)
    ##构造一些特征
    data['data']=time_value.day
    data['hour']=time_value.hour
    data['weekday']=time_value.weekday
    ##把时间戳特征删除
    data.drop(data['time'],axis=1)  #pandas1为列 sklearn 0为列
    print(data)

    ##把签到数量少于n个目标位置删除
    place_count=data.groupby('place_id').count()
    tf=place_count[place_count.row_id>3].reset_index()
    data=data[data['place_id'].isin(tf.place_id)]
    ##取出数据当中的特征值和目标值
    y=data['place_id']
    x=data.drop([place_id],axis=1)
    ##进行数据分割，将数据分成数据集和测试集
    x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)
    ##

    ##特征工程（标准化）
    std=StandardScaler()
    #对测试集和训练集的特征值进行标准化
    x_train=std.fit_transform(x_train)
    x_test=std.transform(x_test)
    # #进行算法流程#超参数
    #  knn=KNeighborsClassifier(n_neighbors=5)   进行网格搜索时不需要再自己设置超参数
    knn = KNeighborsClassifier()
    # #fit,predict,score
    # knn.fit=(x_train,x_test)
    # ##得出预测结果
    # y_predict=knn.predict(x_test)
    # print("预测目标签到位置："，y_test)
    # ##得出准确率
    # print("预测准确率：",knn.score(x_test,y_test))
    ##进行网格搜索
    ##构造一些参数的值进行搜索
    param={'n_neighbors':[3,5,10]}
    gc=GridSearchCV(knn,param_grid=param,cv=2)
    gc.fit(x_train,y_train)
    #预测准确率
    print('在测试集上的准确率',gc.score(x_test,y_test))
    print('在交叉验证当中最好的结果',gc.best_score_)
    print('选择最好的模型是：',gc.best_estimator_)
    print('每个超参数每次交叉验证的结果',gc.cv_results_)

    return None