分类算法
sklearn转换器和估计器
转换器 - 特征工程的父类
1 实例化 (实例化的是一个转换器类(Transformer))
2 调用fit_transform(对于文档建立分类词频矩阵,不能同时调用)
标准化:
(x - mean) / std
fit_transform()
fit() 计算 每一列的平均值、标准差
transform() (x - mean) / std进行最终的转换
fit_transform的作用相当于transform加上fit。
估计器
1 实例化一个estimator
2 estimator.fit(x_train, y_train) 计算
—— 调用完毕,模型生成
3 模型评估:
1)直接比对真实值和预测值
y_predict = estimator.predict(x_test)
y_test == y_predict
2)计算准确率
accuracy = estimator.score(x_test, y_test)
k-近邻算法(KNN)
k = 1 容易受到异常点的影响
k 值取得过小,容易受到异常点的影响
k 值取得过大,样本不均衡的影响
如何确定谁是邻居?
计算距离:
距离公式
欧氏距离(knn算法默认使用的距离)
曼哈顿距离 绝对值距离 (特征之间的差取绝对值)
明可夫斯基距离
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
n_neighbors:k值
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
def knn_iris():
iris = load_iris()
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test) # 使用的是训练集x_train的平均值和标准差,所以只对测试集x_test做转换,转成和x_train一样的格式
estimator = KNeighborsClassifier(n_neighbors=3)
estimator.fit(x_train, y_train) # 用训练集来生成模型
y_predict = estimator.predict(x_test) # 方法1 测试集送入模型,得到预测值
print(y_predict)
print(y_test == y_predict) # 比对预测值和真实值
score = estimator.score(x_test, y_test) # 方法2 测试集x_test送入模型得到预测值,然后和y_test比对,得到acc
print(score)
return None
if __name__ == '__main__':
knn_iris()
怎样选择最好的k值?
模型选择与调优
交叉验证
这个是4折交叉验证
超参数搜索-网格搜索(Grid Search)
def knn_iris_gscv():
iris = load_iris()
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test) # 使用的是训练集x_train的平均值和标准差,所以只对测试集x_test做转换,转成和x_train一样的格式
param_dict ={"n_neighbors": [1, 3, 5, 7, 9, 11]}
estimator = KNeighborsClassifier()
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10) # 加入超参数搜索和交叉验证
estimator.fit(x_train, y_train) # 用训练集来生成模型(估计器)
y_predict = estimator.predict(x_test) # 方法1 测试集送入模型,得到预测值
print(y_predict)
print(y_test == y_predict) # 比对预测值和真实值
score = estimator.score(x_test, y_test) # 方法2 测试集x_test送入模型得到预测值,然后和y_test比对,得到acc
print(score)
print(estimator.best_params_)
print(estimator.best_score_)
print(estimator.best_estimator_)
print(estimator.cv_results_)
return None
if __name__ == '__main__':
# knn_iris()
knn_iris_gscv()
06-Facebook案例代码实现_哔哩哔哩_bilibili
朴素贝叶斯算法
相互独立:
P(A, B) = P(A)P(B) <=> 事件A与事件B相互独立
朴素贝叶斯算法:朴素 + 贝叶斯
朴素是指,假设特征与特征之间是相互独立的
贝叶斯:贝叶斯公式
应用场景:
文本分类:单词作为特征
如果计算出某个概率为0,怎么办?(主要出现在样本量小的情况)
Ni,N为原先计算出来概率为0的数据 m为不重复的特征词个数
一旦使用拉普拉斯平滑系数,则所有的概率计算都要加上
def nb_new():
# 获取数据
news = fetch_20newsgroups(subset="all")
# 划分数据集
x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)
# 特征抽取 用tdidf
transfer = TfidfVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 朴素贝叶斯 做估计器模型
estimator = MultinomialNB()
estimator.fit(x_train, y_train)
# 模型评估
y_predict = estimator.predict(x_test) # 方法1 测试集送入模型,得到预测值
print(y_predict)
print(y_test == y_predict) # 比对预测值和真实值
score = estimator.score(x_test, y_test) # 方法2 测试集x_test送入模型得到预测值,然后和y_test比对,得到acc
print(score)
return None
if __name__ == '__main__':
# knn_iris()
# knn_iris_gscv()
nb_new()
决策树
思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法
如果高效决定决策顺序?
信息增益g越大,说明对决策的不确定性是减少最多的
所以,应该优先判断信息增益大的特征
决策树的深度,不去设定的话,可能会过拟合,泛化能力差,在训练集表现好而测试集则不好
决策树在鸢尾花数据集的表现
def decision_iris():
# 获取数据
iris = load_iris()
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
# 用决策树做估计器
estimator = DecisionTreeClassifier(criterion="entropy")
estimator.fit(x_train, y_train)
# 模型评估
y_predict = estimator.predict(x_test) # 方法1 测试集送入模型,得到预测值
print(y_predict)
print(y_test == y_predict) # 比对预测值和真实值
score = estimator.score(x_test, y_test) # 方法2 测试集x_test送入模型得到预测值,然后和y_test比对,得到acc
print(score)
return None
if __name__ == '__main__':
# knn_iris()
# knn_iris_gscv()
# nb_new()
decision_iris()
决策树可视化
sklearn.tree.export_graphviz()
http://webgraphviz.com/
def titanic_demo():
titanic = pd.read_csv("D:\\dev\\python-learn\\machine_learning\\机器学xiday2资料\\02-代码\\titanic.csv")
# 筛选特征值和目标值
x = titanic[["pclass", "age", "sex"]]
y = titanic["survived"]
# 缺失值处理 用平均值代替
x["age"].fillna(x["age"].mean(), inplace=True)
# 转换成字典
x = x.to_dict(orient="records")
# 数据集划分
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)
# 字典特征抽取
transfer = DictVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 用决策树做估计器 max_depth可以调
estimator = DecisionTreeClassifier(criterion="entropy")
estimator.fit(x_train, y_train)
# 模型评估
y_predict = estimator.predict(x_test) # 方法1 测试集送入模型,得到预测值
print(y_predict)
print(y_test == y_predict) # 比对预测值和真实值
score = estimator.score(x_test, y_test) # 方法2 测试集x_test送入模型得到预测值,然后和y_test比对,得到acc
print(score)
# 可视化
export_graphviz(estimator, out_file="titanic_tree", feature_names=transfer.get_feature_names_out())
return None
if __name__ == '__main__':
# knn_iris()
# knn_iris_gscv()
# nb_new()
# decision_iris()
titanic_demo()
随机森林
是集成学习方法的一种
多个决策树的预估器
两个随机: 假设N个样本,M个特征值
- 训练集随机:N个样本中随机有放回的抽样N个
- 特征随机:从M个特征中随机抽取m个特征,M >> m,达到降维
用随机森林再做泰坦尼克号
# 用决策树做估计器 max_depth可以调, 加入超参数搜索和交叉验证
estimator = RandomForestClassifier()
param_dict = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)
estimator.fit(x_train, y_train)
# 模型评估
y_predict = estimator.predict(x_test) # 方法1 测试集送入模型,得到预测值
print(y_predict)
print(y_test == y_predict) # 比对预测值和真实值
score = estimator.score(x_test, y_test) # 方法2 测试集x_test送入模型得到预测值,然后和y_test比对,得到acc
print(score)
print(estimator.best_params_)
print(estimator.best_score_)
print(estimator.best_estimator_)
print(estimator.cv_results_)
return None
if __name__ == '__main__':
titanic_rf_demo()