集成学习机器学习基础3学习笔记

作业解答

回归和分类

• 回归问题中因变量是连续变量，需要预测的数是一个连续的实数，比如人口数预测中下一年的人口数量。
• 分类问题中因变量是离散变量，比如鸢尾花的类别，是否患病等。
• 面对分类问题很容易想到的方法是设置一个阈值，使用回归模型求出值后高于阈值为正类，低于阈值为负类。但是阈值设置很大程度上影响结果，如果得出结果值域在[0,20]但阈值设置为0.5那么这样设置是不合理的，同时多分类情况下用阈值就不合适了。
• 逻辑回归就是将结果转化至[0,1]上，将结果转化成各类的概率

分类问题的损失函数

回归问题中我们常用均方误差MSE作为损失函数，但是在分类问题中，使用sigmoid/softmx得到概率，配合MSE损失函数时，采用梯度下降法进行学习时，会出现模型一开始训练时，学习速率非常慢的情况，所以常采用交叉熵作为分类问题的损失函数。
关于交叉熵可以参考知乎上飞鱼大佬的文章:损失函数｜交叉熵损失函数

线性判别分析和逻辑回归

LDA的基本思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点中心尽可能远离。更简单的概括为一句话，就是“投影后类内方差最小，类间方差最大”。
逻辑回归一般不用于多分类问题，在多分类问题上效果不佳，但是LDA适合与多分类问题

python+numpy实现逻辑回归

#通用函数
import numpy as np
from collections import Counter
def sigmoid_fun(z):
    return 1/(1+np.exp(-z))
def cross_entropy(N,P,y):
    J=np.sum(y*np.log(P)+(1-y)*np.log(1-P))/N
    return J

#逻辑回归类
class LR:
    w=None
    N=0
    def fit(self,X,y,alpha = 0.01,accuracy = 0.00001):
        self.w=np.full((X.shape[1]+1,1),0.5)
        self.N=X.shape[0]
        b=np.ones(X.shape[0])
        X=np.column_stack((X,b))
        y=y.reshape(self.N,1)
        obj=self.cost_func(w,X,y)
        new_obj=float('inf')
        while np.abs(new_obj-obj)>accuracy:
            obj=new_obj
            df=y-sigmoid_fun(X.dot(w))
            df=df.T.dot(X).T
            self.w=self.w-alpha*df
            new_obj=self.cost_func(self.w,X,y)
    
    def cost_func(self,w,X,y):
        
        P=sigmoid_fun(X.dot(w))
        r=cross_entropy(self.N,P,y)
        return r
    def predict(self,X):
        b=np.ones(X.shape[0])
        X=np.column_stack((X,b))
        predict=X.dot(self.w)
        result=[]
        for i in predict:
            if i>0.5:
                result.append(1)
            else:
                result.append(0)
        return result
    def score(self,X_test,y_test):
        y_predict = self.predict(X_test)
        re = (y_test==y_predict)
        re1 = Counter(re)
        a = re1[True] / (re1[True]+re1[False])
        return a

#构建二分类数据集并调用
from sklearn.model_selection import train_test_split
iris = datasets.load_iris()
X= iris['data']
y = iris['target']
X = X[y!=2]
y=y[y!=2]
X_train,X_test, y_train, y_test = train_test_split(X,y)
myLogstic = LR()    
myLogstic.fit(X_train,y_train)
myLogstic.score(X_test,y_test)