机器学习预习问题集锦

决策树

1、基本概念

信息熵

信息增益

 

逻辑回归

1. 逻辑回归通常处理什么类型的问题

提示：根据课程的案例梳理

2. 描述Sigmoid激活函数的特点和作用

3. 假设函数是如何根据PR、ER的值判断是否患病

结合乳腺癌诊断数据案例说明

4. 解释样本数据分类为0/1时，误差函数值的实际含义

样本y为1，对应的误差函数

对数函数

 

线性回归

0. 假设函数

    

1. 解释误差函数中每个参数的意义

    

2. 梯度的概念

    备注：机器学习之梯度与梯度下降法

              导数、偏导数、方向导数、梯度

3. 步长的理解

    步长又称学习率，它的实际意义是什么

    步长过大、步长过小的影响

4. 梯度下降算法

    请解释梯度下降算法的实现过程

 

      计算公式： 

    每个参数的计算形式：

    实现公式：

 

附件材料

分类和回归

分类和回归的本质是一样的，都是对输入做出预测，其区别在于输出的类型。

分类问题：分类问题的输出是离散型变量(如: +1、-1)，是一种定性输出。(预测明天天气是阴、晴还是雨) 
回归问题：回归问题的输出是连续型变量，是一种定量输出。(预测明天的温度是多少度)。

梯度下降示意图