机器学习笔记（2）

分类算法

sklearn转换器和估计器

转换器 - 特征工程的父类

1 实例化 (实例化的是一个转换器类(Transformer))

2 调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)

标准化：

       (x - mean) / std

       fit_transform()

       fit()           计算 每一列的平均值、标准差

       transform()     (x - mean) / std进行最终的转换

fit_transform的作用相当于transform加上fit。

估计器

1 实例化一个estimator

2 estimator.fit(x_train, y_train) 计算

    —— 调用完毕，模型生成

3 模型评估：

   1）直接比对真实值和预测值

      y_predict = estimator.predict(x_test)

      y_test == y_predict

    2）计算准确率

      accuracy = estimator.score(x_test, y_test)

k-近邻算法(KNN)

k = 1  容易受到异常点的影响

k 值取得过小，容易受到异常点的影响

k 值取得过大，样本不均衡的影响

如何确定谁是邻居？

  计算距离：

   距离公式

       欧氏距离（knn算法默认使用的距离）

       曼哈顿距离 绝对值距离 （特征之间的差取绝对值）

       明可夫斯基距离

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

n_neighbors：k值

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier


def knn_iris():
    iris = load_iris()
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)  # 使用的是训练集x_train的平均值和标准差，所以只对测试集x_test做转换，转成和x_train一样的格式

    estimator = KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train, y_train)  # 用训练集来生成模型

    y_predict = estimator.predict(x_test)  # 方法1 测试集送入模型，得到预测值
    print(y_predict)
    print(y_test == y_predict)  # 比对预测值和真实值

    score = estimator.score(x_test, y_test)  # 方法2 测试集x_test送入模型得到预测值，然后和y_test比对，得到acc
    print(score)

    return None


if __name__ == '__main__':
knn_iris()

怎样选择最好的k值？

模型选择与调优

交叉验证

这个是4折交叉验证

超参数搜索-网格搜索(Grid Search)

def knn_iris_gscv():
   iris = load_iris()
   x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)
   transfer = StandardScaler()
   x_train = transfer.fit_transform(x_train)
   x_test = transfer.transform(x_test)  # 使用的是训练集x_train的平均值和标准差，所以只对测试集x_test做转换，转成和x_train一样的格式

   param_dict ={"n_neighbors": [1, 3, 5, 7, 9, 11]}
   estimator = KNeighborsClassifier()
   estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10)  # 加入超参数搜索和交叉验证

   estimator.fit(x_train, y_train)  # 用训练集来生成模型（估计器）

   y_predict = estimator.predict(x_test)  # 方法1 测试集送入模型，得到预测值
   print(y_predict)
   print(y_test == y_predict)  # 比对预测值和真实值

   score = estimator.score(x_test, y_test)  # 方法2 测试集x_test送入模型得到预测值，然后和y_test比对，得到acc
   print(score)
   print(estimator.best_params_)
   print(estimator.best_score_)
   print(estimator.best_estimator_)
   print(estimator.cv_results_)

   return None


if __name__ == '__main__':
   # knn_iris()
   knn_iris_gscv()

06-Facebook案例代码实现_哔哩哔哩_bilibili

朴素贝叶斯算法

相互独立:

        P(A, B) = P(A)P(B) <=> 事件A与事件B相互独立

朴素贝叶斯算法：朴素 + 贝叶斯

朴素是指，假设特征与特征之间是相互独立的

贝叶斯：贝叶斯公式

应用场景：

文本分类：单词作为特征

如果计算出某个概率为0，怎么办？（主要出现在样本量小的情况）

Ni，N为原先计算出来概率为0的数据       m为不重复的特征词个数

一旦使用拉普拉斯平滑系数，则所有的概率计算都要加上

def nb_new():
    # 获取数据
    news = fetch_20newsgroups(subset="all")
    
    # 划分数据集
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)
    
    # 特征抽取 用tdidf
    transfer = TfidfVectorizer()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    
    # 朴素贝叶斯 做估计器模型
    estimator = MultinomialNB()
    estimator.fit(x_train, y_train)

    # 模型评估
    y_predict = estimator.predict(x_test)  # 方法1 测试集送入模型，得到预测值
    print(y_predict)
    print(y_test == y_predict)  # 比对预测值和真实值
    score = estimator.score(x_test, y_test)  # 方法2 测试集x_test送入模型得到预测值，然后和y_test比对，得到acc
    print(score)

    return None


if __name__ == '__main__':
    # knn_iris()
    # knn_iris_gscv()
    nb_new()

决策树

思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

如果高效决定决策顺序？

信息增益g越大，说明对决策的不确定性是减少最多的

所以，应该优先判断信息增益大的特征

决策树的深度，不去设定的话，可能会过拟合，泛化能力差，在训练集表现好而测试集则不好

决策树在鸢尾花数据集的表现

def decision_iris():
    # 获取数据
    iris = load_iris()
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
    
    # 用决策树做估计器
    estimator = DecisionTreeClassifier(criterion="entropy")
    estimator.fit(x_train, y_train)

    # 模型评估
    y_predict = estimator.predict(x_test)  # 方法1 测试集送入模型，得到预测值
    print(y_predict)
    print(y_test == y_predict)  # 比对预测值和真实值
    score = estimator.score(x_test, y_test)  # 方法2 测试集x_test送入模型得到预测值，然后和y_test比对，得到acc
    print(score)

    return None



if __name__ == '__main__':
    # knn_iris()
    # knn_iris_gscv()
    # nb_new()
decision_iris()

决策树可视化

sklearn.tree.export_graphviz()

http://webgraphviz.com/

def titanic_demo():

    titanic = pd.read_csv("D:\\dev\\python-learn\\machine_learning\\机器学xiday2资料\\02-代码\\titanic.csv")

    # 筛选特征值和目标值
    x = titanic[["pclass", "age", "sex"]]
    y = titanic["survived"]

    # 缺失值处理 用平均值代替
    x["age"].fillna(x["age"].mean(), inplace=True)

    # 转换成字典
    x = x.to_dict(orient="records")

    # 数据集划分
    x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

    # 字典特征抽取
    transfer = DictVectorizer()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 用决策树做估计器 max_depth可以调

    estimator = DecisionTreeClassifier(criterion="entropy")
    estimator.fit(x_train, y_train)

    # 模型评估
    y_predict = estimator.predict(x_test)  # 方法1 测试集送入模型，得到预测值
    print(y_predict)
    print(y_test == y_predict)  # 比对预测值和真实值
    score = estimator.score(x_test, y_test)  # 方法2 测试集x_test送入模型得到预测值，然后和y_test比对，得到acc
    print(score)
    
    # 可视化
    export_graphviz(estimator, out_file="titanic_tree", feature_names=transfer.get_feature_names_out())

    return None


if __name__ == '__main__':
    # knn_iris()
    # knn_iris_gscv()
    # nb_new()
    # decision_iris()
titanic_demo()

随机森林

是集成学习方法的一种

多个决策树的预估器

两个随机：  假设N个样本，M个特征值

1. 训练集随机：N个样本中随机有放回的抽样N个
2. 特征随机：从M个特征中随机抽取m个特征，M >> m，达到降维

用随机森林再做泰坦尼克号

    # 用决策树做估计器 max_depth可以调, 加入超参数搜索和交叉验证
    estimator = RandomForestClassifier()
    param_dict = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
    estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)
    estimator.fit(x_train, y_train)

    # 模型评估
    y_predict = estimator.predict(x_test)  # 方法1 测试集送入模型，得到预测值
    print(y_predict)
    print(y_test == y_predict)  # 比对预测值和真实值
    score = estimator.score(x_test, y_test)  # 方法2 测试集x_test送入模型得到预测值，然后和y_test比对，得到acc
    print(score)

    print(estimator.best_params_)
    print(estimator.best_score_)
    print(estimator.best_estimator_)
    print(estimator.cv_results_)

    return None


if __name__ == '__main__':
titanic_rf_demo()