目录
监督学习(Supervised Learning)
监督学习既有特征值X,也有目标值y,大部分的机器学习算法都属于监督学习。监督学习既可以用于分类也可以用于回归。常见的监督学习算法有:K近邻算法,决策树和随机森林,逻辑斯蒂(logistic)回归,支持向量机(SVM),线性回归、岭回归、KNN。
(就是给它问题和答案,让他自己做自己对,给它一道有答案的例题让它学习)
回归(Regression):图预测一个数字或者无限多个可能的数字
分类(Classification):学习算法必须对一个类别进行预测,所有可能的输出都是一小组
无监督学习(Unsupervised Learning)
无监督学习是没有目标值的y的就是不了解输出结果应该是什么样子,这种学习通常用于聚类,说白了就是把一堆商品分成不同的种类,对目标群体进行划分。比如淘宝京东这类电商平台就会商品进行聚类划分。常见的无监督聚类算法:K-means。
聚类(cluster):按照某个特定标准把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。
线性回归(linear regression)
单变量线性回归
具有一个变量的线性回归,当要根据单个输入值x预测单个输出值y时,使用单变量线性回归。我们在这里使用监督学习,意味着我们已经对输入/输出因果关系有一个了解。
假设函数
这是一条直线方程形式,通过w和b赋予的f(x)的值,得到我们的预测输出。我们尝试各种w和b的值,试图通过映射在xy平面上的数据点找到最佳拟合或最具代表性的直线的值
代价函数(cost function)
假设(Hypothesis) | |
---|---|
参数(Parameters) | w,b |
成本函数(Cost Function) | |
目标(Goal) |
梯度下降
数学公式:
α是学习率Alpha后面的是对J(w,b)求偏导
w = temp_w
b = temp_b
学习率
Alpha太小,梯度下降会起作用,但会太慢
Alpha太大,创建感觉可能会过冲并且可能永远不会达到最小值,大相交可能无法收敛,甚至可能发散
梯度下降的工作原理:我们在梯度下降中看到的一个问题是,它可以导致局部极小值,而不是全局极小值,全局最小值是否表示成本函数可能值最低的点J所有可能的点。该函数具有多个局部最小值,根据您初始化参数w和b的位置,您最终可能会达到不同的局部最小值。
如果使用带有线性回归的平方误差成本函数时,成本函数没有也永远不会有多个局部最小值,它有一个全局最小值。
梯度下降法用于线性回归
线性回归算法:
更新相当于w和b,因为线性回归的代价函数是一个碗形,所以它没有局部最优,只有一个全局最优