#个人学习笔记记录
前言
1.监督学习与无监督学习
(1)supervised learning:x->y,有right answers,即知结果
①regression 回归:predict a number infinitely many possible outputs 预测数字
②classfication 分类:predict categories,small number of possible outputs 预测类别,不一定是数字了,可以是猫或狗
(2)unsupervised learning:find something interesting in unlabelled data
①clustering 聚类:group similar data points together
②anomaly detection 异常检测:find unsual data points
③dimensionality reduction 数据降维:compress data using fewer numbers
一、线性回归模型 liner regression model---predict numbers
·预测数字
一些概念
(1)traininng set 训练集
x | y |
2014 | 400 |
1416 | 232 |
... | ... |
x:输入变量,也叫特征
y:输出变量,也叫targets variable
m:训练集的个数
(x,y):单个训练例子
(,
):第i个训练例子 i:index
线性回归模型只有一个特征 f(x)=wx+b
w,b:parameters,coefficient,weights
找到w,b使得所有预测值y^都与真实值y相接近 (函数拟合)
(2)损失函数--衡量“拟合”好坏
目标:损失函数最小,常用平方误差损失函数
线性回归:
①模型f(x)=wx+b;
②参数:w,b;
③损失函数:;
④目标:损失函数最小化
(3)梯度下降 gradient descent
引入问题:现有函数,预使其达min
思路:先给出w,b的初始值(eg:w=0,b=0),然后不断更新w,b以减少J,直到达到最小值或接近最小值时停止
##线性回归的J一般呈现弓形
##局部最小值
##沿着梯度最陡的方向走,开始节点重要
算法
!!!注意w,b同时更新