机器学习-------算法（九）

分类算法的总结：

K-近邻，朴素贝叶斯，决策树，随机森林：

一般过程：

①获取数据

②处理数据

③特征工程

④进行算法流程（如果含有超参数可以进行超参数预测来增加算法的稳定以及效率）

 

 

分类算法的API一般都在API：sklearn。

# database 一些本地的data
from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
# 一些模板，比如 ：数据分割，超参数处理
from sklearn.model_selection import train_test_split, GridSearchCV
# K-近邻模块
from sklearn.neighbors import KNeighborsClassifier
# 特征工程的预处理模块
from sklearn.preprocessing import StandardScaler
# 朴素贝叶斯-特征值抽取
from sklearn.feature_extraction.text import TfidfVectorizer
# 朴素贝叶斯算法
from sklearn.naive_bayes import MultinomialNB
# 召回率
from sklearn.metrics import classification_report
# 字典处理方法
from sklearn.feature_extraction import DictVectorizer
# 决策树
from sklearn.tree import DecisionTreeClassifier, export_graphviz
# 随机森林
from sklearn.ensemble import RandomForestClassifier
# 数据的读取
import pandas as pd

 

K-近邻算法：

在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。

朴素贝叶斯：

现实生活中朴素贝叶斯算法应用广泛，如文本分类，垃圾邮件的分类，信用评估，钓鱼网站检测等等

决策树：

决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。