机器学习(斯坦福ng)
包含斯坦福机器学习相关笔记
AI蜗牛之家
北航烟酒僧~ 百度、腾讯自然语言处理算法工程师~
展开
-
Machine Learning Stanford (week 1)
Model RepresentationTo establish notation for future use, we’ll use x(i) to denote the “input” variables (living area in this example), also called input features, and y(i) to denote the “output” or ta原创 2017-10-22 18:49:51 · 1061 阅读 · 5 评论 -
Machine Learning Stanford (week 2)
1. Multivariate Linear Regression1.1 Multiple FeaturesNote: [7:25 - θT is a 1 by (n+1) matrix and not an (n+1) by 1 matrix] Linear regression with multiple variables is also known as “multivariate lin原创 2017-10-27 22:30:49 · 818 阅读 · 0 评论 -
Machine Learning Stanford (week 3)
ClassificationTo attempt classification, one method is to use linear regression and map all predictions greater than 0.5 as a 1 and all less than 0.5 as a 0. However, this method doesn’t work well beca原创 2017-11-05 18:08:47 · 1470 阅读 · 0 评论 -
神经网络(斯坦福machine learning week 5)
1 代价函数和逆向回归1.1Cost FunctionLet’s first define a few variables that we will need to use:L = total number of layers in the network sl = number of units (not counting bias unit) in layer l K = number o原创 2017-11-14 20:37:46 · 953 阅读 · 0 评论 -
评价一个学习算法(斯坦福machine learning week 6)
1. 评价一个学习算法1.1 如何少走弯路?1.2 机器学习诊断法引入1.2.1 背景当我们确定学习算法的参数的时候,我们考虑的是选择参量来使训练误差最小化。有人认为,得到一个非常小的训练误差一定是一件好事,但我们已经知道,仅仅是因为这个假设具有很小的训练误差并不能说明它就一定是一个好的假设函数,而且我们也学习了过拟合假设函数的例子。所以这推广到新的训练集上是不适用的。那么,你该如何判断一个假设函数原创 2017-11-15 19:14:57 · 884 阅读 · 0 评论 -
机器学习系统设计之垃圾邮箱(斯坦福machine learning week 6)
本节通过垃圾邮件分类问题对系统学习系统设计展开描述。 下面分别是垃圾邮件和正常邮件: 1. 考虑哪些方法会起作用1.1 提取特征向量x=features of email (邮件的特征)x=features of email (邮件的特征) y=spam(1) or not spam(0) (是否为垃圾邮件:1是、0否) 这里有一种选择邮件的一些特征变量的方法,比如说我们可能会想出一系列单原创 2017-11-17 17:44:21 · 4640 阅读 · 0 评论 -
svm之大间距分类(斯坦福machine learning week 7)
1 构建支持向量机拥有了这些定义之后,现在我们就开始构建支持向量机。1.1 替换逻辑回归函数这就是我们在逻辑回归中使用的代价函数J(θ): J(θ)=−1m∑i=1m[y(i) log(hθ(x(i)))+(1−y(i)) log(1−hθ(x(i)))]+λ2m∑j=1nθ2jJ(θ)=−1m∑i=1m[y(i) log(hθ(x(i)))+...原创 2017-11-27 21:35:27 · 851 阅读 · 0 评论 -
svm之核函数(斯坦福machine learning week 7)
1. 核函数 I首先让我们来看看第一个标记: f1=similarity(x,l(1))=exp(−||x−l(1)||22σ2)=exp(−∑nj=1(xj−l(1)j)22σ2)\begin{align*} f_1&=similarity(x,l^{(1)}) =exp(-\frac{||x-l^{(1)}||^2}{2σ^2}) =exp(-\frac{\sum_{j=1}^{n}(x_j-原创 2017-11-28 11:50:45 · 1283 阅读 · 0 评论 -
svm之使用SVM(斯坦福machine learning week 7)
支持向量机是一个特定的优化问题,但是我不建议你自己去手动实现这一算法来求解参数θ这里推荐两个我最常用到的库:liblinear和libsvm。尽管你不需要自己去实现SVM,但你也需要做以下几件事:选择参数CC选择核函数(相似度函数)1 核函数的选择1.1 线性核函数(无核函数)当你的特征数量n很大,但数据量m很小时,由于数据量不足,在这种情况下如果使用其他核函数,你可能会过拟合,因此,此时线性原创 2017-11-28 12:48:51 · 915 阅读 · 0 评论 -
聚类(斯坦福machine learning week 8)
1 用途图1是细分市场,将所有用户划分至不同的细分市场组,以便于营销或服务。图2是社交分析体系,比如在社交网络中观察一群人,看他们和谁有电子邮件来往,或者查找一群相互有联系的人。图3是用聚类来组织运算集群或组织数据中心,因为,如果你知道在集群中,哪些计算机的数据中心倾向于一起工作,你可以用它重新组织你的资源,网络的布局,以及数据中心和通信。图4是使用聚类算法来试图理解星系的形成,和其中的天文原创 2017-11-29 20:28:17 · 747 阅读 · 0 评论 -
降维(斯坦福machine learning week 8)
1 目的 如果你有上百或者上千的特征变量,很容易就会忘记你到底有什么特征变量,而且有时候可能有几个不同的工程师团队。一队工程师可能给你200个特征变量,第二队工程师可能再给你300个特征变量,然后第三队工程师给你500个特征变量。所以你一共有1000个特征变量,这样就很难搞清哪个队给了你什么特征变量。实际上得到这样冗余的特征变量并不难。假设我们不知道这两个特征量。其中x1是某个物体的长度,以原创 2017-11-30 13:25:15 · 1166 阅读 · 0 评论 -
异常检测(斯坦福machine learning week 9)
在接下来的一系列课程中,我将向大家介绍异常检测(Anomaly detection)问题。这是机器学习算法的一个常见应用。这种算法的一个有趣之处在于它虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题。1 定义异常检测问题更正式一些的定义如下:假设我们有m个正常的样本数据{x(1),x(2),…,x(m)}{x^{(1)},x^{(2)},…,x^{(m)}},我们需要一个算法原创 2017-12-07 13:12:50 · 795 阅读 · 0 评论 -
多元高斯分布(斯坦福machine learning week 9)
1 背景之前的异常检测算法,其实是以中心区域向外以正圆的形式扩散的。也就是说距离中心区域距离相等的点,对应的p(x)都是一样的,所以我们可能无法检测到这一个异常样本,因为它也处在一个p(x)比较大的范围内: 之前的也就是圆形的范围,但是我们现在将要说的是蓝色的范围,很明显多元高斯分布处理了原来模型不能表示的问题2 多元高斯分布改良异常检测算法多元高斯分布的参数包括向量µ和一个n×n的矩阵Σ。µ原创 2017-12-09 14:18:25 · 880 阅读 · 0 评论 -
协同过滤(斯坦福machine learning week 9)
1 推荐系统 问题表述以预测电影评分这个时兴的问题为例,假想你是一个销售或出租电影的网站,你让用户使用1至5颗星 给不同的电影评分: 假设下面的表格是几个用户针对五部电影给出的评分。其中”?”代表用户没有给出评分: 电影 Alice(1) Bob(2) Carol(3) Dave(4) 《爱到最后》 5 5 0 0 《浪漫永远原创 2017-12-09 16:46:41 · 436 阅读 · 0 评论 -
梯度下降(斯坦福machine learning week 10)
这对于现代的数据集其实是很现实的。比如对于美国的人口普查数据集来说美国有3亿人口,我们通常都能得到上亿条的数据。 如果我们看一下很受欢迎的网站的浏览量,我们也很容易得到上亿条的记录。 假设我们要训练一个线性回归模型或者是逻辑回归模型,这是梯度下降的规则: 当你在计算梯度下降的时候,这里的m是一个上亿的值时,你需要通过计算上亿个数的导数项的和来计算仅仅一步的梯度下降。原创 2017-12-10 00:29:58 · 1192 阅读 · 0 评论 -
在线学习&Map Reduce(斯坦福machine learning week 10)
1 在线学习 在本节,我将会讨论一种新的大规模的机器学习机制,叫做在线学习机制。在拥有连续一波数据或连续的数据流涌进来,而我们又需要一个算法来从中学习的时候来模型化问题时,我们就需要用到在线学习机制。 特别要提及的是,如果你有一个由连续的用户流引发的连续的数据流,用户流进入你的网站,你能做的是使用一个在线学习机制,从数据流中学习用户的偏好,然后使用这些信息,来优化一些关于网站的决策。1.原创 2017-12-10 17:01:21 · 670 阅读 · 0 评论 -
机器学习应用实例(照片OCR)(斯坦福machine learning week 11)
NG说: 我想介绍这部分内容的原因主要有以下三个: 第一,我想向你展示一个复杂的机器学习系统是如何被组合起来的。 第二,我想介绍一下机器学习流水线(machine learning pipeline)的有关概念以及在决定下一步做什么时如何分配资源。 最后,我也想通过介绍照片OCR问题的机会来告诉你机器学习的诸多有意思的想法和理念。其中之一是如何将机器学习应用到计算机视觉问题中,原创 2017-12-10 17:51:01 · 4056 阅读 · 0 评论