ML学习笔记b站吴恩达（4-6/19）

最新推荐文章于 2024-11-08 11:06:20 发布

system991106

最新推荐文章于 2024-11-08 11:06:20 发布

阅读量86

点赞数

文章标签：学习笔记

本文链接：https://blog.csdn.net/system991106/article/details/133084684

版权

本文详细介绍了吴恩达机器学习系列课程中的内容，包括多元线性回归中的梯度下降法、特征缩放技巧、学习率调整、多项式回归、正规方程的应用以及正则化处理矩阵不可逆问题。同时讨论了Logistic回归算法、代价函数和高级优化技术。

摘要由CSDN通过智能技术生成

课程名称：[中英字幕]吴恩达机器学习系列课程
课程内容：Machine Learning
课程网址：https://www.bilibili.com/video/BV164411b7dx/?p=18&spm_id_from=pageDriver&vd_source=ce1ba3c38b9d663ebfa5fce9f867c7e3
课程进度：4-6

4-1 多功能
Subscript 写在下面的，下标
Denote 表示
Lowercase 小写
在这里插入图片描述

n特征量的数量
上标superscript表示第几个样本，上标+下标表示第几个样本的第几个特征值
Multivariate linear regression 多元线性回归
在这里插入图片描述

X是样本，theta是参数

4-2 多元梯度下降法
Gradient descent 梯度下降法
在这里插入图片描述

多特征量的时候，更新参数就要和特征量的取值相关了，其实单特征量也一样只是x(i)0取值默认是1了

4-3 多元梯度下降法演练1-特征缩放
在这里插入图片描述

如果各个特征量的取值范围差异很大，那等值线图就会很瘦很高，梯度下降也可能会振荡
在这里插入图片描述

比较合适的取值范围如上图，太大不好，太小也不好
Mean normalization均值归一化
在这里插入图片描述

V1是训练集中特征x1的平均值
S1是该特征值的范围，最大值减去最小值，也就是标准差

4-4 多元梯度下降法2-学习率
x-axis x轴 horizontal axis
converge(v.)会聚，集中，十分相似，收敛
在这里插入图片描述

如果代价函数逐渐上升，那通常是学习率取得过大了
如果代价函数反复上升下降，那通常也可能是学习率取大了
如果学习率太小了，那代价函数收敛会过于缓慢甚至不收敛
在这里插入图片描述

4-5 特征和多项式回归
Polynomial regression多项式回归
在这里插入图片描述

更换特征可能会得到更好的模型
在这里插入图片描述

4-6 正规方程（区别于迭代方程的直接解法）
Concretely具体地说，具体地
Intuition直觉，直觉力
在这里插入图片描述

解析式地找到最优的theta
Design matrix设计矩阵
在这里插入图片描述

这里的第二个矩阵x是不是弄错了上标和下标？
X transpose X的转置
在这里插入图片描述

使用正规方程法不需要特征缩放
在这里插入图片描述

对线性回归问题，正规方程法相对于梯度下降法是一个不错的选择

4-7 正规方程在矩阵不可逆情况下的解决方法
Normal equation正规方程
Non-invertibility不可逆性
Singular matrix奇异矩阵 degenerate matrix退化矩阵这种矩阵不可逆
Octave中的pinv和inv不同，一个是伪逆pesudo-inverse，一个是逆
在这里插入图片描述

Regularization正则化
在这里插入图片描述

出现矩阵不可逆情况通常有两种原因，一是因为特征间的关系影响到了矩阵，比如重复的有线性关系的特征量，这种情况需要删除多余的，二是因为样本数相对于特征数太少，特征量太多了，这种情况需要删除一些特征或者进行正则化。
虽然有时候确实会有矩阵不可逆的情况，但是使用pinv也能得到正确结果

4-8 导师的编程小技巧

5-1 基本操作
Octave 不等于 ~=
Disp(a) 打印显示a的内容
在这里插入图片描述
Rand生成的是0和1之间的随机的数

Randn生成的是服从高斯分布的数，均值为0，标准差或者说方差为1
在这里插入图片描述

Hist生成直方图
上图标准差为根号10，方差为10，符合高斯分布
在这里插入图片描述

Eye表示生成单位矩阵
Help命令
Help eye help rand help help 摁q退出
Sophisticated复杂的

5-2移动数据
在这里插入图片描述

Who 显示当前的所有变量 whos 显示更详细的各个变量及其信息
在这里插入图片描述

Clear 删除变量
在这里插入图片描述
Save 把变量存到文件中

5-3 计算数据
在这里插入图片描述

点乘和叉乘运算符有区别如上
这个点号通常表示元素的运算
在这里插入图片描述

Abs求non-negative values
在这里插入图片描述

求转置
在这里插入图片描述

Max（矩阵A）会获得每一列的最大值
在这里插入图片描述

Find会返回满足条件的元素的索引
幻方magic square的行列对角线的和都是相等的
在这里插入图片描述

Sum求和 prod求乘积 floor向下取整 ceil向上取整
在这里插入图片描述

Rand（3）生成随机3*3矩阵
在这里插入图片描述

上图为取每一列的最大值，1意味着从A的第一维度去取值
在这里插入图片描述

取矩阵Adequate最大值的两种方法，一是max（max（A）），二是把A变成列向量再取最大值
在这里插入图片描述

上图为取每一列的和，取每一行的和
在这里插入图片描述

Flipud垂直翻转矩阵
在这里插入图片描述

5-4 数据绘制
Plot图
Generate生成
Visualize使可视化
在这里插入图片描述

5-5 控制语句：for，while，if.语句
在这里插入图片描述
Exit或者quit 退出octave

要使用自己编写的函数，需要事先准备.m文件，cd进入到对应文件夹，或者是addpath添加好对应文件夹路径，然后才可以使用这个函数
Octave可以定义一个函数能够返回多个值

设计矩阵为[1 1;1 2;1 3]，第一列是x0的值，第二列是训练样本，对应的y值矩阵为[1;2;3]，给定theta，求代价函数。实际上当theta为[0;1]时就是斜率为一的直线，theta为[0;0]时求代价函数即可。
Sanity理智，明智，精神健全，通情达理，神志正常

5-6 矢量
Routine常规，例行程序
Vectorized向量化的
Inner product内积
在这里插入图片描述

C++中实现如下图
在这里插入图片描述

Sophisticated复杂的
Simultaneously同时地
Compress压缩，压紧，浓缩
Subtract减，减去注意不是substract，没有多的s
Summation求和
Real number实数
在这里插入图片描述

上图是把整个计算过程向量化的过程（矢量化地实现线性回归linear regression）
Computation计算式
当特征量非常多时，矢量化实现往往比循环实现运算速度更快
Vectorized implementation向量化实现方式

6-1 分类
Logistic regression logistic回归算法
分类问题
Arbitrary任意的，武断的，专横的
Convey输送，传达，表达
Two class problem二分类问题
Binary classification problem二元分类问题
Multi-class多分类
在这里插入图片描述

Threshold阈值
Instance实例，例子，事例
在这里插入图片描述

Logistic regression是一种分类算法classification algorithm

6-2 假设陈述
Hypothesis representation
我们希望分类器classifier的输出值在0和1之间
Sigmoid function和logistic function基本算是同义词synonym
It asymptotes at zero趋向0 approaches 1 接近1
Horizontal axis横轴
在这里插入图片描述