机器学习
监督学习
监督学习是指我们给算法一个数据集,其中包含了正确答案,算法的目的就是给出更多的正确答案。
回归问题
分类问题
不仅仅能处理两到三个或者五个特征,而是能处理无穷多特征的算法。
在监督学习中,对于数据集中的每个样本,进行算法预测并得出“正确答案”
无监督学习
聚类算法(无监督学习的一种):Organize computing clusters/社交网络分析/客户市场分割/天文数据分析
鸡尾酒会算法:
Octave语言
模型描述
监督学习算法的工作:
我们向学习算法提供训练集(比如房价数据集),学习算法的任务是输出一个函数(用h表示,h代表假设函数,假设函数的作用是把房子的大小作为输入变量,并把它作为x的值,输出相应房子的预测y值,h就是一个引导从x得到y的函数)
(右:单变量线性回归)
代价函数
m:训练样本的数量,m=47
h:假设函数
θi:模型参数
(最小二乘法)
代价函数J也被称为平方误差函数,或也被称为平方误差代价函数。是解决回归问题的最常用手段(误差的平方和)
代价函数可视化(简化的假设函数)
梯度下降
相关内容可查阅:梯度下降法
该算法被广泛应用于各种领域。
课程用例:
局部最优:
α:学习速率(控制步数,即更新θ的幅度)
θ0与θ1同步更新,否则会出现细微的差别。
将梯度下降算法应用到线性回归模型:
“Batch”梯度下降:每一步都遍历了所有的训练集样本。
梯度下降算法适用于更大的数据集。
多功能
此时: