2016年10月_Eric2016_Lv

12月 11月 10月 09月

原创机器学习小组知识点5：随机梯度下降（SGD）以及与批量梯度下降(BGD)的比较

该文档不仅包含了SGD更有与BGD的比较，希望同学们多多反馈！文档下载全部免费！详情请点击资源页进行下载 http://download.csdn.net/detail/eric2016_lv/9660446致谢：感谢上海交通大学熊均达同学为本资源的整理和归纳，另外感谢肖凯博士对本资源，再次致以诚挚的感谢！

2016-10-21 18:49:07 1229

原创机器学习小组知识点6:最大似然估计法(MLE)

为了照顾大家不同的基础，我只能写的不是很数学化，因此就用大家都能理解的东西。最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国

2016-10-21 16:57:23 3052

原创机器学习小组知识点4&5:批量梯度下降法(BGD)和随机梯度下降法(SGD)的代码实现Matlab版

这里趁着脑子还清醒就把代码敲出来了：亲测是没有bug的，欢迎大家来找虫。clear all close all clc%% initialization % input x & y x1 = [1 3 2104]; y1 = 400; x2 = [1 3 1600]; y2 = 330; x3 = [1 3 2400]; y3 = 369;

2016-10-19 10:17:28 6896 2

原创机器学习小组知识点4:批量梯度下降法(BGD)

详情请点击资源页进行下载 http://download.csdn.net/detail/eric2016_lv/9657140不用怕，免费！致谢：感谢肖凯博士为本资源的整理和归纳，另外感谢上海交通大学成清请，许唱两位同学对本资源的审核，再次致以诚挚的感谢！

2016-10-18 17:22:24 1110

上篇博客介绍了最小均方算法(LMS)，其实里面的东西包含的很多，其中有最小二乘法，梯度下降以及随机梯度下降法。这篇博客着重介绍最小二乘法的推导，来源以及做一点儿推广。下面进入正题：最小二乘法的闭形式推导在上篇博客我们引入了J(θ)J(\theta)成本函数的具体形式，这里我们要推导出关于θ\theta的“闭形式”，数学上也称为解析解的形式。下面我们要重新将JJ写成矩阵乘向量的形式。给定一个训练集，定

2016-10-17 09:41:27 4999

原创机器学习小组知识点2：最小均方算法(LMS)

感谢：向原文作者Nanshu Wang致以崇高的敬意！原文请点击这里声明：博主只是推了一遍然后细节更多的阐释了下，再次向原文作者致谢！同时，向上海交通大学软件学院教师肖凯博士所搭建的平台致谢！有监督学习（Supervised Learning）线性回归(Linear Regression)LMS算法正规方程(The Normal Equations)正规方程与梯度下降的比较1.有

2016-10-15 10:43:38 4303

原创机器学习小组知识点1：均方误差(MSE)

均方误差单独扽概念是很简单的，这里只做介绍，更深一步的内容会在后面列出来。SSE(和方差、误差平方和)：The sum of squares due to errorMSE(均方差、方差)：Mean squared errorRMSE(均方根、标准差)：Root mean squared errorR-square(确定系数)：Coefficient of determination

2016-10-14 23:28:03 61929 12

原创 R语言数据的预处理以及算法基础小记

声明：本文笔记来源《一个贯穿图像处理与数据挖掘的永恒问题》，作者为左飞，原文地址：更多细节点击这里。 # 1. 算法基础部分：求解一个3*3矩阵的中位数，常常用在图像处理中的patch处理。 # 2. R语言基础部分：读取数据，预处理，Kmeans算法实现。算法基础假如有一个矩阵为 036147258 \begin{matrix} 0 & 1& 2 \\

2016-10-09 12:54:08 2743

原创 C语言二分归并排序的实现

C语言二分归并排序的实现趁着十一小长假，自学了一点儿算法（初级），复杂度最低的就是二分归并排序（nlog(n)），也是分支归并思想的体现。博主，基于闲的没事的原则，好久没碰C语言，所以亲自调试了一段代码，并且进行debug测试得到。其中学习了不少新的知识。直接贴代码：#include <stdio.h>#include <stdlib.h>#include <assert.h>#inclu

2016-10-03 11:23:37 4345 3