机器学习
文章平均质量分 78
小小逐月者
个人博客:https://www.haibei.online/
展开
-
线性回归笔记
线性回归一、原理1.1 定义寻找一条直线,最大程度“拟合”样本特征(X_data)和样本输出标记(Label)之间的关系。1.2 解决的问题分类问题和回归问题二、简单线性回归(Sample Linear Regression Model)2.1 公式推导假设最佳拟合的直线方程为y=wx+by=wx+by=wx+b\color{red}{y=wx...原创 2018-03-18 16:44:22 · 692 阅读 · 0 评论 -
梯度下降法
梯度下降法(Gradient Descent)原理1.1、定义梯度下降是迭代法的一种,是一种基于搜索的最优化方法。 梯度下降法不是一个机器学习的方法 它可以用于求解最小二乘问题(线性和非线性都可以)。1.2、作用可以最小化损失函数(梯度上升法可以最大化效用函数) 二、公式2.1 批量梯度下降 构造线性方程的损失函数:J(θ)=1m∑m...原创 2018-03-19 22:05:07 · 512 阅读 · 0 评论 -
最小二乘法求解步骤
目标:线性回归问题,找到最佳参数使得损失函数最小一、损失函数定义线性方程:y=ax+by=ax+b y=ax+b 对于每个样本点 x(i)x(i) x^{(i)} ,其预测值为 y^(i)=ax(i)+by^(i)=ax(i)+b \hat y^{(i)}=ax^{(i)}+b 对于每个样本点 x(i)x(i) x^{(i)} ,其真实值为 y(i)y(i) y^{(i)} ...原创 2019-09-08 22:45:32 · 31456 阅读 · 5 评论