线性回归和非线性回归
Sakura_❀_
普普通通的大数据专业学生
展开
-
机器学习(十一)单层感知器算法
单层感知器算法感知器介绍感知器为二分类模型与逻辑回归类似其输入为实例的特征向量,输出为实例的类别,取+1或者-1值。简单来说,就是在平面坐标轴画一条直线,把点分为两类。感知器结构输入节点:x1,x2,x3输出节点:y权衡向量:w1,w2,w3偏置因子: b激活函数:sign(x)={1x>00x=0−1x<0\operatorname{sign}(x)=\left\{\begin{array}{rl}1 & x>0 \\0 & x=0 \\-1转载 2020-09-24 22:36:54 · 1951 阅读 · 0 评论 -
机器学习(八)逻辑回归
逻辑回归Logistic 回归 概述逻辑回归虽然被称为回归,但其实际上是分类模型,并常用于二分类。其主要思想是:根据现有数据对分类边界线(Decision Boundary)建立回归公式,以此进行分类。须知概念Sigmoid 函数回归 概念假设现在有一些数据点,我们用一条直线对这些点进行拟合(这条直线称为最佳拟合直线),这个拟合的过程就叫做回归。进而可以得到对这些点的拟合直线方程,那么我们根据这个回归方程,怎么进行分类呢?请看下面。二值型输出分类函数我们想要的函数应该是: 能接受所有的输入然原创 2020-08-12 11:04:55 · 1209 阅读 · 0 评论 -
机器学习(七)岭回归
正则化(Regularization)概念及原因正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。在构造机器学习模型时,最终目的是让模型在面对新数据的时候,可以有很好的表现。但是当使用比较复杂的模型比如神经网络,去拟合数据时,很容易出现过拟合现象(训练集表现很好,测试集表现较差),这会导致模型的泛化能力下降,这时候,我们就需要使用正则化,降低模型的复杂度。正则化代价函数L1正则化:J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1n∣θj∣]J(\thet转载 2020-08-03 20:43:10 · 2892 阅读 · 0 评论 -
机器学习(六)多元线性回归之最小二乘法
线性回归的原理多元回归的一般式y^(θ,x)=θ0+θ1x1+…+θpxp\hat{y}(\theta, x)=\theta_{0}+\theta_{1} x_{1}+\ldots+\theta_{p} x_{p}y^(θ,x)=θ0+θ1x1+…+θpxp其中:y^\hat{y}y^:预测值θ0,θ1,…θp\theta_{0}, \theta_{1}, \ldots \theta_{p}θ0,θ1,…θp:参数x0,x1,…xpx_{0}, x_{1}, \ldots原创 2020-08-03 15:10:05 · 9495 阅读 · 3 评论 -
机器学习(五)多元线性回归
线性回归多元线性回归(多特征)hθ(x)=θ0+θ1x1+θ2x2+...+θnxnh_\theta(x) = \theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_nhθ(x)=θ0+θ1x1+θ2x2+...+θnxn当Y值的影响因素不是唯一时,采用多元线性回归模型代价函数(损失函数)最小二乘法计算误差J(θ0,θ1,...,θn)=1/2m∑i=1m(yi−hθ(xi))2J(\theta_0,\theta_1,...,\thet原创 2020-07-31 09:23:23 · 454 阅读 · 0 评论 -
机器学习(四)一元线性回归
线性回归一元线性回归(单特征)hθ(x)=θ0+θ1xh_\theta(x) = \theta_0+\theta_1xhθ(x)=θ0+θ1x这个方程对于的图像是一条直线,称为回归线。其中θ1\theta_1θ1为回归线的斜率,θ0\theta_0θ0为回归线的截距代价函数(损失函数)最小二乘法计算误差J(θ0,θ1)=1/2m∑i=1m(yi−hθ(xi))2J(\theta_0,\theta_1) = 1/2m\sum_{i=1}^{m} {(y^i-h_\theta(x^i)原创 2020-07-31 09:20:24 · 447 阅读 · 0 评论