机器学习笔记

第一节 机器学习和深度学习的区别

区别：机器学习需要人为提取特征，深度学习通过大量数据训练自动得到模型，不需要人为特征提取

2.深度学习代表算法：神经网络

神经网络：输入层，隐藏层、输出层

输入层一般是特征，采用线性回归的方式连接到隐藏层，在通过神经元（激活函数），连接到输出层（最后一个输出层也叫做全连接层）

第二节 深度学习的介绍

1.与深度学习息息相关的三个名词：算力（GPU加速），算法创新（主要是损失函数的创新），数据。

第三节 逻辑回归（主要用于二分类问题）用于得出预测结果（回归到0~1之间）

1.Logistic回归

①输入特征向量

②参数：权重加偏置

③输出预测结果：y=sigmod（）,sigmod:,z的结果非常大时趋于1，z非常小时趋于0

2.逻辑回归的损失函数

作用：用于衡量测试结果与真实值之间的误差

逻辑回归一般的损失函数为：

解读：目标值为1时，想要损失越小（要趋于0），y^就要趋于1

              目标值为0时，想要损失越小（要趋于0），y^就要趋于0

3.梯度下降算法

作用：使得损失函数取得最小值

目的：寻找使得损失函数取得最小值的权重w，偏置b

4.导数的定义式

导数更新公式：

是学习率

5.向量化编程（使用numpy）

矩阵的计算np.dot(a,b),避免使用for循环因为耗时。

逻辑回归的m个样本的向量化编程（伪代码如下）：

6.实现Sigmoid gradient(梯度)

def sigmoid_derivative(x):
    s = sigmoid(x)*(1-sigmoid(x))
    return ds

7.单神经元神经网络实现