逻辑回归与K-means

1. 逻辑回归

逻辑回归的想法就是通过sigmod函数将预测值的范围从无穷到零一之间。具体的公式如下所示:

在这里插入图片描述
上面介绍了逻辑回归的策略,下面介绍一下逻辑回归的损失函数
(类似于决策树中介绍过的信息熵)
在这里插入图片描述
逻辑回归的实例:

from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression, SGDRegressor,  Ridge, LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, classification_report
from sklearn.externals import joblib
import pandas as pd
import numpy as np


def 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1. k近邻算法(k-Nearest Neighbors,KNN):根据离某个样本最近的k个样本的分类情况来预测该样本的分类。可用于分类和回归问题。 ```python from sklearn.neighbors import KNeighborsClassifier # 构建模型 knn = KNeighborsClassifier(n_neighbors=5) # 训练模型 knn.fit(X_train, y_train) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_scaled = scaler.transform(new_data) new_pred = knn.predict(new_data_scaled) print('New predictions:', new_pred) ``` 2. k-means算法:将样本分成k个簇,使得簇内的样本相似度较高,簇间的相似度较低。 ```python from sklearn.cluster import KMeans # 构建模型 kmeans = KMeans(n_clusters=3, random_state=42) # 训练模型 kmeans.fit(X_scaled) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_scaled = scaler.transform(new_data) new_pred = kmeans.predict(new_data_scaled) print('New predictions:', new_pred) ``` 3. DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise):基于密度的聚类算法,可以识别任意形状的簇,并且能够将噪声数据识别为单独的簇。 ```python from sklearn.cluster import DBSCAN # 构建模型 dbscan = DBSCAN(eps=0.5, min_samples=5) # 训练模型 dbscan.fit(X_scaled) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_scaled = scaler.transform(new_data) new_pred = dbscan.fit_predict(new_data_scaled) print('New predictions:', new_pred) ``` 4. 线性判别分析(Linear Discriminant Analysis,LDA):将样本投影到低维空间中,使得不同类别的样本尽可能地分开。 ```python from sklearn.discriminant_analysis import LinearDiscriminantAnalysis # 构建模型 lda = LinearDiscriminantAnalysis(n_components=2) # 训练模型 lda.fit(X_train, y_train) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_lda = lda.transform(new_data_scaled) new_pred = lda.predict(new_data_lda) print('New predictions:', new_pred) ``` 5. 主成分分析(Principal Component Analysis,PCA):将样本投影到低维空间中,使得样本的方差尽可能大。 ```python from sklearn.decomposition import PCA # 构建模型 pca = PCA(n_components=2) # 训练模型 pca.fit(X_scaled) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_pca = pca.transform(new_data_scaled) new_pred = pca.inverse_transform(new_data_pca) print('New predictions:', new_pred) ``` 6. 决策树(Decision Tree):基于树形结构的分类算法,通过构建决策树来对样本进行分类。 ```python from sklearn.tree import DecisionTreeClassifier # 构建模型 dt = DecisionTreeClassifier(max_depth=3) # 训练模型 dt.fit(X_train, y_train) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_scaled = scaler.transform(new_data) new_pred = dt.predict(new_data_scaled) print('New predictions:', new_pred) ``` 7. 逻辑回归(Logistic Regression):基于概率的分类算法,通过拟合数据来预测样本的分类。 ```python from sklearn.linear_model import LogisticRegression # 构建模型 lr = LogisticRegression() # 训练模型 lr.fit(X_train, y_train) # 预测新数据 new_data = [[5.1, 3.5, 1.4, 0.2], [6.2, 3.4, 5.4, 2.3]] new_data_scaled = scaler.transform(new_data) new_pred = lr.predict(new_data_scaled) print('New predictions:', new_pred) ``` 这些代码展示了sklearn库中k近邻、k-means、DBSCAN、LDA、PCA、决策树和逻辑回归算法的应用。这些算法可以用于分类、聚类、降维等任务,具体使用时需要根据具体问题进行选择和调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值