从贝叶斯角度看L1及L2正则化

首先写一下为什么会写这个吧，之前在看linUCB的一篇博客的时候，看到了这么一段话：

纳尼！岭回归还可以从贝叶斯角度来得到呢！顿时觉得自己知识面太窄，暴露了自己渣渣的本质。既然知识面窄，那就废话不多说，恶补一波吧！本文涉及到的内容可能有点多，不过只要你能从头到尾读下来，相信你一定能够有所收获！

本文涉及的知识点有：频率派和贝叶斯学派概率和似然拉普拉斯分布和正态分布极大似然方法求线性回归贝叶斯角度看L1和L2正则化

1、频率派和贝叶斯学派

频率派
频率派认为需要将推断的参数θ视作未知的定值，而样本X是随机的，其着眼点在样本空间，有关的概率计算都是针对X的分布。频率学派认为参数虽然我们不知道，但是它是固定的，我们要通过随机产生的样本去估计这个参数，所以才有了最大似然估计这些方法。

贝叶斯派
贝叶斯派把参数θ也视作满足某一个分布的随机变量，而样本X是固定的，其着眼点在参数空间，重视参数θ的分布，固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布。

贝叶斯学派强调人的先验的作用，即人以往认知的作用。并且通过不断增添新的知识，来更新以往的认知。 举个例子来说：有一个袋子里面装了红球和黑球，在试验之前，我们已知这个袋子里面是5黑5红的概率是0.8，是10黑5红的概率是0.2，这个概率分布称为先验概率。之后观察者开始新的观测或实验(有放回抽取100次，得到80次黑的，20次红的)。经过中间的独立重复试验，观察者获得了一些新的观测结果，这些新的