阿里云天池金融风控训练营 · Task 4 建模与调参学习笔记

最新推荐文章于 2021-07-20 22:32:12 发布

HINATA_T

最新推荐文章于 2021-07-20 22:32:12 发布

阅读量573

点赞数

文章标签： python 机器学习

本文链接：https://blog.csdn.net/HINATA_T/article/details/116244175

版权

本文介绍了阿里云天池金融风控训练营的学习内容，重点讲解了逻辑回归模型的判定边界、代价函数与梯度下降，并探讨了模型评估方法和调参策略。在模型选择上强调了考虑数据类型、训练速度和数据敏感性。调参方法包括贪心、网格搜索和贝叶斯调参，特别提到了贝叶斯调参在实际项目中的应用。此外，还分享了关于模型评价标准的理解和学习过程中的思考与总结。

摘要由CSDN通过智能技术生成

本学习笔记为阿里云天池金融风控训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/activity/promotion/aicampdocker

1、学习知识点概要

在这里插入图片描述

2、学习内容¹

2.1逻辑回归模型

这里呢我只讲一个我认识比较多的模型，相较于其他模型，逻辑回归模型是我们很早就开始认识，也是比较容易的，对一个模型的认识还得去用过你才会知道，所以实践才是检验真理的唯一标准。

总述：逻辑回归是应用非常广泛的一个分类机器学习算法，它将数据拟合到一个logit函数(或者叫做logistic函数)中，从而能够完成对事件发生的概率进行预测。

在这里插入图片描述
比较浅显的说法就是说根据离散的点分布拟合出的直线进行预测下一个点在直线上
但是真正的比较科学的说法的逻辑回归还是有很多种模式的
其中包括判定边界，代价函数与梯度下降²

2.1.1判定边界

边界的种类：
在这里插入图片描述

面对这种较为复杂的点分布，不是一般的拟合直线而是包括各种曲线。
这种时候需要用到Andrew Ng教授的课程例子
参考：机器学习系列(1)_逻辑回归初步

2.1.2代价函数与梯度下降

所谓的代价函数Cost Function，其实是一种衡量我们在这组参数下预估的结果和实际结果差距的函数，比如说线性回归的代价函数定义为:
在这里插入图片描述
但是这会引发代价函数为“非凸”函数的问题，简单一点说就是这个函数有很多个局部最低点
上述的Cost Function对于逻辑回归是不可行的，需要其他形式的Cost Function来保证逻辑回归的成本函数是凸函数。
以下是一个适合逻辑回归的代价函数
在这里插入图片描述
参考：机器学习系列(1)_逻辑回归初步
:

2.1.3代码顺序

导入数据——数据处理——梯度下降——判定边界
代码部分
参考：机器学习系列(1)_逻辑回归初步

from numpy import loadtxt, where
from pylab import scatter, show, legend, xlabel, ylabel
 
#load the dataset
data = loadtxt('/home/HanXiaoyang/data/data1.txt', delimiter=',')
 
X = data[:, 0:2]
y = data[:, 2]
 
pos = where(y == 1)
neg = where(y == 0)
scatter(X[pos, 0], X[pos, 1], marker='o', c='b')
scatter(X[neg, 0], X[neg, 1], marker='x', c='r')
xlabel('Feature1/Exam 1 score')
ylabel('Feature2/Exam 2 score')
legend(['Fail', 'Pass'])
show()

def sigmoid(X):
    '''Compute sigmoid function '''
    den =1.0+ e **(-1.0* X)
    gz =1.0/ den
    return gz
def compute_cost(theta,X,y):
    '''computes cost given predicted and actual values'''
    m = X.shape[0]#number of training examples
    theta = reshape(theta,(len(theta),1))
    
    J =(1./m)*(-transpose(y).dot(log(sigmoid(X.dot(theta))))- transpose(1-y).dot(log(1-sigmoid(X.dot(theta)))))
    
    grad = transpose((1./m)*transpose(sigmoid(X.dot(theta))- y).dot(X))
    #optimize.fmin expects a single value, so cannot return grad
    return J[0][0]#,grad
def compute_grad(theta, X, y):
    '''compute gradient'''
    theta.shape =(1,3)
    grad = zeros(3)
    h = sigmoid(X.dot(theta.T))
    delta = h - y
    l = grad.size
    for i in range(l):
        sumdelta = delta.T.dot(X[:, i])
        grad[i]=(1.0/ m)* sumdelta *-1
    theta.shape =(3,)
    return  grad

def predict(theta, X):
    '''Predict label using learned logistic regression parameters'''
    m, n = X.shape
    p = zeros(shape=(m,1))
    h = sigmoid(X.dot(theta.T))
    for it in range(0, h.shape[0]):
        if h[it]>0.5:
            p[it,0]=1
        else:
            p[it,0]=0
    return p
#Compute accuracy on our training set
p = predict(array(theta), it)
print'Train Accuracy: %f'%((y[where(p == y)].size / float(y.size))*100.0)