[机器学习]机器学习笔记整理12-线性回归概念理解

原创 2017年04月11日 00:11:45

前提介绍:

为什么需要统计量?

统计量:描述数据特征

1. 集中趋势衡量

均值(平均数,平均值)(mean)

这里写图片描述
{6, 2, 9, 1, 2}
(6 + 2 + 9 + 1 + 2) / 5 = 20 / 5 = 4

中位数 (median):

将数据中的各个数值按照大小顺序排列,居于中间位置的变量
给数据排序:1, 2, 2, 6, 9
找出位置处于中间的变量:2
当n为基数的时候:直接取位置处于中间的变量
当n为偶数的时候,取中间两个量的平均值

众数 (mode):

数据中出现次数最多的数

离散程度衡量

方差(variance)

这里写图片描述
{6, 2, 9, 1, 2}
(1) (6 - 4)^2 + (2 - 4) ^2 + (9 - 4)^2 + (1 - 4)^2 + (2 - 4)^2
= 4 + 4 + 25 + 9 + 4
= 46
(2) n - 1 = 5 - 1 = 4
(3) 46 / 4 = 11.5

标准差 (standard deviation)

这里写图片描述

1. 介绍:回归(regression) Y变量为连续数值型(continuous numerical variable)

                如:房价,人数,降雨量
         分类(Classification): Y变量为类别型(categorical variable)
                如:颜色类别,电脑品牌,有无信誉

2. 简单线性回归(Simple Linear Regression)

 2.1 很多做决定过过程通常是根据两个或者多个变量之间的关系
 2.3 回归分析(regression analysis)用来建立方程模拟两个或者多个变量之间如何关联
 2.4 被预测的变量叫做:因变量(dependent variable), y, 输出(output)
 2.5 被用来进行预测的变量叫做: 自变量(independent variable), x, 输入(input)

3. 简单线性回归介绍

 3.1 简单线性回归包含一个自变量(x)和一个因变量(y)
 3.2 以上两个变量的关系用一条直线来模拟
 3.3 如果包含两个以上的自变量,则称作多元回归分析(multiple regression)

4. 简单线性回归模型

 4.1 被用来描述因变量(y)和自变量(X)以及偏差(error)之间关系的方程叫做回归模型
 4.2 简单线性回归的模型是:
 ![这里写图片描述](http://img.blog.csdn.net/20170411000552535?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvQmFpSHVhWGl1MTIz/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)

5. 简单线性回归方程

                     E(y) = β0+β1x 
     这个方程对应的图像是一条直线,称作回归线
     其中,β0是回归线的截距
              β1是回归线的斜率  
              E(y)是在一个给定x值下y的期望值(均值)

6. 正向线性关系:

这里写图片描述

7. 负向线性关系:

这里写图片描述

8. 无关系

这里写图片描述

9. 估计的简单线性回归方程

      ŷ=b0+b1x
 这个方程叫做估计线性方程(estimated regression line)
 其中,b0是估计线性方程的纵截距
           b1是估计线性方程的斜率
           ŷ是在自变量x等于一个给定值的时候,y的估计值

10. 线性回归分析流程:

这里写图片描述

11. 关于偏差ε的假定

 11.1 是一个随机的变量,均值为0
 11.2 ε的方差(variance)对于所有的自变量x是一样的
 11.3 ε的值是独立的
 11.4 ε满足正态分布

请参考下一章实现:
[机器学习]机器学习笔记整理12-线性回归概念理解

版权声明:本文为博主原创文章,未经博主允许不得转载。

周志华 《机器学习》之 第三章(线性模型)概念总结

阅读之后,根据周志华老师对本章节的安排,首先从线性模型的基本形式入手,逐渐引入线性回归、对数几率回归、线性判别分析(LDA)、多分类学习等多种线性模型,最后针对类别不平衡问题总结了一些相关的解决思路 ...
  • lixianjun913
  • lixianjun913
  • 2016年08月12日 14:58
  • 1379

周志华《机器学习》笔记:第3章 线性模型

本章概括 从最简单但也是最基础的线性模型开始研究。线性模型虽然简单,但却是基础。先研究线性、单属性的线性回归问题,在此基础上研究非线性、多属性的回归和分类问题。 第3章 线性模型 单属性...
  • yzqzoom
  • yzqzoom
  • 2016年07月10日 12:11
  • 3111

深度学习笔记(0)——机器学习基本概念

本篇博客仅针对毫无机器学习理论背景的人,其他人可以直接跳过。机器学习(machine learning)是最近非常火的一个领域,关于其一些基本定义百度百科、维基百科或者网上随便都可以找到很多资料,所以...
  • qq_21190081
  • qq_21190081
  • 2017年01月19日 14:52
  • 3818

斯坦福机器学习第2课线性回归matlab实现和测试代码及笔记

  • 2015年12月28日 21:20
  • 36KB
  • 下载

从GLM广义线性模型到线性回归、二项式及多项式分类——机器学习笔记整理(一)

作为一名机器学习的爱好者,最近在跟着Andrew Ng 的 Machine Learning 学习。在讲义的第一部分中,Ng首先讲解了什么叫做监督学习,其次讲了用最小二乘法求解的线性模型,用sigmo...
  • gactyxc
  • gactyxc
  • 2016年09月11日 19:16
  • 924

机器学习笔记二:线性回归与最小二乘法

这篇笔记会将几本的线性回归概念和最小二乘法。其他的会在下一篇扩展。 在机器学习中,一个重要而且常见的问题就是学习和预测特征变量(自变量)与响应的响应变量(应变量)之间的函数关系 这里主要讨论线性函...
  • xierhacker
  • xierhacker
  • 2016年11月21日 15:56
  • 5116

机器学习笔记——正则化线性回归

1. 模型的欠拟合、过拟合 无论是回归问题还是分类问题都可能存在模型的欠拟合和过拟合的情况。下图是回归问题中的例子: 第一个模型欠拟合,第二个模型刚好拟合,第三个过拟合。 下图是分类问题中的例子:...
  • m0_37324740
  • m0_37324740
  • 2017年07月24日 20:20
  • 254

斯坦福大学机器学习笔记--第一周(5.线性回归的梯度下降)

一.Gradient Descent For Linear Regression(线性回归的梯度下降) 在前面我们谈到了梯度下降算法是很常用的算法,经常被用在线性回归模型、平方误差代价函数上...
  • tiweeny
  • tiweeny
  • 2017年06月24日 23:27
  • 203

机器学习笔记(1)-线性回归

线性回归一. 问题概述 二. 线性回归的的求解 最小二乘法 1.1. 特点 Normal Equation算法也叫做普通最小二乘法(ordinary least squares),其特点...
  • yyHaker
  • yyHaker
  • 2017年04月17日 20:24
  • 503

Andrew Ng机器学习笔记week1 线性回归

Andrew Ng机器学习笔记week1第一周主要是对机器学习进行简单的介绍和线性回归的知识点:一、Introductionmachine learning的举例 machine learnin...
  • kiooooo
  • kiooooo
  • 2017年10月18日 09:32
  • 57
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:[机器学习]机器学习笔记整理12-线性回归概念理解
举报原因:
原因补充:

(最多只允许输入30个字)