吴恩达机器学习笔记

C8080Y

已于 2023-06-26 20:02:38 修改

阅读量95

点赞数

分类专栏： study 文章标签：机器学习笔记 python

于 2023-06-25 09:01:16 首次发布

本文链接：https://blog.csdn.net/C8080Y/article/details/131370229

版权

study 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了监督学习和无监督学习的基本概念，包括线性回归模型在预测数字中的应用，损失函数的作用以及梯度下降法在优化模型参数中的使用。线性回归模型通过拟合数据来预测输出，而梯度下降则是一种寻找损失函数最小值的优化方法。

摘要由CSDN通过智能技术生成

#个人学习笔记记录

前言

1.监督学习与无监督学习

（1）supervised learning：x->y，有right answers，即知结果

①regression 回归：predict a number infinitely many possible outputs 预测数字

②classfication 分类：predict categories,small number of possible outputs 预测类别，不一定是数字了，可以是猫或狗

（2)unsupervised learning：find something interesting in unlabelled data

①clustering 聚类：group similar data points together

②anomaly detection 异常检测：find unsual data points

③dimensionality reduction 数据降维：compress data using fewer numbers

一、线性回归模型 liner regression model---predict numbers

·预测数字

一些概念

（1）traininng set 训练集

x	y
2014	400
1416	232
...	...

x：输入变量，也叫特征

y：输出变量，也叫targets variable

m：训练集的个数

（x,y)：单个训练例子

（ $x^{i}$ ， $y^{i}$ ）：第i个训练例子 i:index

线性回归模型只有一个特征 f(x)=wx+b

w,b：parameters，coefficient，weights

找到w，b使得所有预测值y^都与真实值y相接近（函数拟合）

（2）损失函数--衡量“拟合”好坏

目标：损失函数最小，常用平方误差损失函数 $J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}(\widehat{y^{i}}-y^{i})=\frac{1}{2m}\sum_{i=1}^{m}(f(x^{i})-y^{i})$

线性回归：

①模型f(x)=wx+b；

②参数：w,b；

③损失函数： $J(w,b)=\frac{1}{2m}\sum_{i=1}^{m}(f(x^{i})-y^{i})$ ；

④目标：损失函数最小化

（3）梯度下降 gradient descent

引入问题：现有函数 $J(w,b)$ ，预使其达min

思路：先给出w，b的初始值（eg：w=0，b=0），然后不断更新w，b以减少J，直到达到最小值或接近最小值时停止

##线性回归的J一般呈现弓形

##局部最小值

##沿着梯度最陡的方向走，开始节点重要

算法

$temp\_w=w-\alpha \frac{\partial }{\partial w}J(w,b)$

$temp\_b=w-\alpha \frac{\partial }{\partial b}J(w,b)$

$w=temp\_w$

$b=temp\_b$

!!!注意w，b同时更新

C8080Y

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
吴恩达机器学习笔记

机器学习个人笔记
复制链接

扫一扫

专栏目录