Tensorflow(2): 线性回归及手写数字识别

Machine learning

• make decisions

• go right/left : Discrete

• increase/decrease: Continuous

第一节 线性回归-1

Linear Equation

一般的观测数据都有噪声：且噪声服从mean为0，variance为的正态分布

For example

使用最小二乘法构造loss函数
为预测值与实际值的差的平方，loss越小时，说明预测值与实际值越接近

将模型参数估计的问题转换为minimize loss的问题

第二节 线性回归-2

Gradient Descent

函数在某点导数的方向是使函数变大的方向。对于求解loss的最小值，则按照导数的反方向行进。

当步长过长时，可能会使参数跳过局部最小值。引入衰减因子学习率：learning rate

对loss求w和b的偏微分：

Linear Regression

• linear regression
• logistic regression：使用sigmoid函数的二分类问题
• classification

第三节：回归问题实战-1

step 1：Compute loss

对于所有样本点计算预测值与实际值的差再求和