西瓜书《机器学习》课后答案——Chapter3_3.4

Vic时代

于 2017-09-15 11:10:15 发布

阅读量6.5k

点赞数 2

分类专栏：机器学习文章标签：机器学习周志华习题答案

本文链接：https://blog.csdn.net/VictoriaW/article/details/77989486

版权

本文选取Iris数据集，通过对比10折交叉验证与留一法，分析了两种评估方法在逻辑回归错误率上的表现。在(X1, X2), (X1, X3), (X2, X3)的不同组合下，两种方法得出的错误率。在使用梯度下降法训练LR模型时，学习率的选择至关重要，不恰当的学习率可能导致错误率上升。文章还提及使用Newton法时遇到的奇异矩阵错误，探讨了二阶导数矩阵不可逆时Newton法的迭代问题。" 93225599,1406541,打造高效数学笔记：Neovim+Typora组合使用指南,"['Markdown编辑器', 'LaTeX公式', '笔记工具', 'Neovim配置', 'VScode插件']

摘要由CSDN通过智能技术生成

选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。
解答：
从UCI网站上选择了Iris数据集，这个数据集总共分为3类，每类50个样本，每个实例有四个属性。数据保存在bezdekIris.txt文件中，举一个样本为例：

5.1,3.5,1.4,0.2,Iris-setosa

下面依次以(X1, X2), (X1, X3), (X2, X3)为训练数据应用十折交叉验证法和留一法：

"""
Author: Victoria
Created on: 2017.9.15 11:00
"""
import numpy as np
import matplotlib.pyplot as plt

def readData():
    """
    Read data from txt file.
    Return:
        X1, y1, X2, y2, X3, y3: X is list with shape [50, 4],
                                y is list with shape [50,]
    """
    X1 = []
    y1 = []
    X2 = []
    y2 = []
    X3 = []
    y3 = []
    #read data from txt file
    with open("bezdekIris.txt", "r") as f:
        for line in f:
            x = []
            iris = line.strip().split(",")
            for attr in iris[0:4]:
                x.append(float(attr))

            if iris[4]=="Iris-setosa":
                X1.append(x)
                y1.append(1)
            elif iris[4]=="Iris-versicolor":
                X2.append(x)
                y2.append(2)
            else