机器学习笔记_PRML_回归分析_线性

很早的时候就在博客园开设了博客，但是由于课程原因，一直怠慢。现在想想随笔记录学习的重大意义，决定抽时间不断更新。新手写博，望多包涵。

那么今天，我们说说我所在研究组PRMLseminar的小竞赛。

首先PRML是什么：以下转自知乎的回答

作者：Luau Lawrence
链接：https://www.zhihu.com/question/35992297/answer/67009652
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

PRML究竟有何过人之处，不能光看它本身的内容，最重要的是看其在Machine Learning, Data Mining这一类书籍中的地位。
通常从一个CS小白开始学Machine Learning或者Data Mining，到成长为一个独当一面的大牛，都会看几种类型的书：

• 以《数学之美》为代表的科普类读物。通常作用为开发兴趣的。
• 《机器学习实战》、《推荐系统实践》、《海量数据挖掘》等实践类书籍。在学中用，在用中学，实践中摸清套路。顺便了解一些基本模型。
• 《统计学习方法》、《数据挖掘导论》、《数据挖掘（韩家炜）》等介绍类书籍。会对ML方面涉及到的技术做一个浅层次的介绍和全方位的了解，有少量数学内容和推导。
• 《PRML》、《ESL》、《MLAPP》这类进阶类书籍。包涵大量理论知识和数学推导（尤其是习题），有助于了解Machine Learning方法背后的本质和思想。

Machine Learning学习的过程，就是一个 what -> how -> why 的过程。而PRML，或者说同类的ESL等书籍，最大的作用就是让你知道为什么会有这样的方法，为什么会有这样的模型，它背后的intuition和motivation是什么。而这恰恰是一个Machine Learning Researcher想要进一步使用模型、看懂别人paper中的模型、甚至自己提出新模型的基础。看PRML会带给你在Machine Learning上的理解和使用能力一个质的飞跃。

而在同一层次上，比如PRML和ESL相比，我个人认为，PRML涵盖面更广，语言更通俗，例子和习题更加详细，附带更多基础性的讲解和指引（比如第二章整章都在介绍概率分布），难度梯度设置更为合理，是其深受广大中老年PHD朋友喜爱的原因。

可以说，PRML是一本兼顾 广度、深度、可读性、可用性（做习题）的好书。

 

好了，扯完背景知识，我们说说这次实战的内容 :线性回归分析

这次我们从回归分析基本概念入手，引用百度百科

定义:

在统计学中，回归分析（regression analysis)指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；按照因变量的多少，可分为 简单回归分析和多重回归分析；按照 自变量和 因变量之间的关系类型，可分为 线性回归分析和 非线性回归分析。

在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。

方法：

1. Linear Regression线性回归

2.Logistic Regression逻辑回归

3. Polynomial Regression多项式回归

4. Stepwise Regression逐步回归

5. Ridge Regression岭回归

6. Lasso Regression套索回归

7.ElasticNet回归

 

简单补充：

线性与非线性，用通俗话说

线性就是每个变量的指数都是1
非线性就是至少有一个变量的指数不是1 

 

参考文献：

1] http://blog.csdn.net/lynnucas/article/details/47948639

 

转载于:https://www.cnblogs.com/rivaille/p/7068525.html