西瓜书《机器学习》课后答案——Chapter3_3.3

最新推荐文章于 2024-07-01 20:36:42 发布

Vic时代

最新推荐文章于 2024-07-01 20:36:42 发布

阅读量8.9k

点赞数 6

分类专栏：机器学习文章标签：机器学习周志华习题答案

本文链接：https://blog.csdn.net/victoriaw/article/details/77989610

版权

本文介绍了如何编程实现对率回归，并展示了在西瓜数据集3.0alpha（89页表4.9）上的实验结果。对比了Newton方法（绿线）和梯度下降法（黄线），强调了梯度下降法学习率选择的重要性，不恰当的学习率可能导致预测结果偏离。

摘要由CSDN通过智能技术生成

3.3 编程实现对率回归，并给出西瓜数据集3.0alpha（89页表4.9）上的结果。

"""
Author: Victoria
Created on: 2017.9.14 11:00
"""
import matplotlib.pyplot as plt
import numpy as np
import xlrd

def sigmoid(x):
    """
    Sigmoid function.
    Input:
        x:np.array
    Return:
        y: the same shape with x
    """    
    y =1.0 / ( 1 + np.exp(-x))
    return y

def newton(X, y):
    """
    Input:
        X: np.array with shape [N, 3]. Input. 
        y: np.array with shape [N, 1]. Label.
    Return:
        beta: np.array with shape [1, 3]. Optimal params with newton method
    """
    N = X.shape[0]
    #initialization
    beta = np.ones((1, 3)) 
    #shape [N, 1]
    z = X.dot(beta.T)
    #log-likehood
    old_l = <