machine-learning
文章平均质量分 89
DawnRanger
这个作者很懒,什么都没留下…
展开
-
7-Neural Networks--Learning
1 - Cost Function 代价函数对于如下的神经网络, 有m组训练数据: (x(1),y(1)),(x(2),y(2)),…,(x(m),y(m)) {(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\dots,(x^{(m)},y^{(m)})} 。注意此时的y是K x 1的向量,每个y(i)的取值是0或1。定义如下参数:L 网络的层数S_l 第l层的原创 2015-08-26 19:40:25 · 761 阅读 · 0 评论 -
15-Large Scale Machine Learning
1 - Learning With Large Datasets由前面章节的知识可知,在模型属于 low bias & high variance 的时候,增大数据集是对结果大有好处的。 Andrew NG 给的示例: 2 - Stochastic [sto’kæstɪk] Gradient Descent 随机梯度下降常见的 Linear Regression 的梯度下降算法: 它的特原创 2015-09-02 00:58:38 · 916 阅读 · 0 评论 -
8-Advice for Applying Machine Learing
如何选择机器学习算法、系统1 - Deciding What to Try Next 在模型遇到问题时该怎么办当你用regularized linear regression 实现了housing prices predict问题之后,发现你的模型在测试新数据时出现非常大的误差。 这时可能的措施如下:Get more training examplesTry smaller sets of f原创 2015-09-02 00:29:18 · 501 阅读 · 0 评论 -
10-SVM
1 - Optimization Objective 优化目标1.1 从logistic regression来看首先来看Logistic regression的hypothesis函数:hθ(x)=11+e−θTx h_\theta(x)=\dfrac{1}{1+e^{-\theta^Tx}} ,可以知道:当y=1时,我们希望 hθ(x)≈1 h_\theta(x)\approx1 ,那么此时必原创 2015-09-02 00:38:24 · 908 阅读 · 0 评论 -
1 - 统计学习方法概论
1 统计学习statistical learning: 基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称统计机器学习(statistical machine learning)。现在,当人们提及机器学习时,往往是指统计机器学习。一些要点:统计学习包括:监督学习(surpervised learning)、非监督学习(unsuprvised learning)、半监督学原创 2015-10-24 00:29:24 · 1338 阅读 · 0 评论 -
2 - 感知机(perceptron)
感知机(perceptron)是二类分类的线性分类模型,输入为实例的的特征向量,输出为实例的类别,取+1和-1二值。感知机模型对应于输入空间(特征空间)中将训练数据进行线性划分的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的超平面,为此导入误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。感知机算法简单而易于实现,分为原始形式和对偶形式。感知机是神经网络与支原创 2015-10-30 00:06:55 · 2751 阅读 · 0 评论 -
4-Logistic Regression
1 - ClassificationLogistic Regression解决的并不是regression问题,而是分类(Classification)问题。例如:Email(Spam/Not)、Tumor(Malignant/Benign)此时,不能再用Linear Regression的Gradient Descent方法来拟合了,现在的问题需要用Logistic Regression来解决原创 2015-08-26 17:29:30 · 633 阅读 · 0 评论 -
逻辑回归模型的两种定义与参数估计思路
逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,属于判别模型。1. 逻辑斯谛回归模型定义在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中,都有对逻辑斯谛回归模型的介绍,然而二者却对模型有着不同的定义。1.1 决策函数Andrew NG 课程中,对二项逻辑回归模型的决策函数如下:hθ(x)=g(θTx)h_\theta(x)=g原创 2016-11-09 09:51:05 · 11589 阅读 · 1 评论 -
约束最优化问题求解:拉格朗日乘子法和KKT条件
在约束最优化问题中,常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换为对偶问题,通过解对偶问题而得到原始问题的解。该方法应用在许多统计学习方法中,例如最大熵模型和支持向量机。对于等式约束的优化问题,可以应用拉格朗日乘子法(Lagrange Multiplier)去求取最优值;如果含有不等式约束,可以应用KKT(Karush-Kuhn-Tucker)条件去求取。当然,这两个方法原创 2016-11-11 21:29:43 · 33883 阅读 · 0 评论 -
朴素贝叶斯的参数估计
输入空间 X⊆Rn\mathcal{X} \subseteq \mathbb{R}^n 为 nn 维向量的集合,输出空间 Y={c1,c2,...,cK}\mathcal{Y} = \{c_1,c_2,...,c_K\} 为类标记集合设输入为特征向量 xx,输出为类标记 yy。XX 为定义在输入空间上的随机向量,YY 是定义在输出空间上的随机向量。P(x,y)P(x,y) 为 XX 和 YY 的联合原创 2016-10-31 22:50:22 · 6696 阅读 · 3 评论 -
13-Anomaly Detection
1 - Problem Motivation 异常检测通常用于 Unsupervised Learning 。异常检测应用场景举例:Fraud detection:欺骗检测Manufacturing:制造业设备检测Monitoring computers in a data center:数据中心计算机监控2 - Gaussian Distribution 高斯(正态)分布表达式如下:原创 2015-09-02 00:46:48 · 697 阅读 · 0 评论 -
9-Machine Learing System Design
1 - Prioritizing What to Work On 众多的改进方法中该选哪一个?以 Spam classification 为例来说明问题。 识别垃圾邮件的基本方法:从大量的邮件中选取出最频繁出现的 n 个词语(包括垃圾邮件关键词和非垃圾邮件关键词,n可取10,000 to 50,000)作为关键词。然后对新邮件进行处理,生成 n x 1维向量 X 作为分类器的输入。降低误差的方法原创 2015-09-02 00:32:20 · 592 阅读 · 0 评论 -
6-Neural Networks--Representation
1 - Non-linear Hypotheses示例:图像分类问题:参与决策的features非常多对于一个 50x50 pixel的图片,有2500个像素点,用RGB来表示是7500个取值。仅仅用二次方程来表示就有多达3million个features。2 - Neurons and the Brain 神经元与大脑神经网络:起源模拟大脑的算法,在90s~90s广泛使用,到90年代末逐渐原创 2015-08-26 18:47:24 · 493 阅读 · 0 评论 -
5-Regularization
1 - The Problem of Overfitting 过拟合问题Overfitting:太多features,Hypothesis函数能非常好的拟合训练集,使得J(θ)≈0。但是不能适应一般情况,对测试集预测效果较差。解决方法: 减少属性数目:人工选择应该保留的属性,使用模型选择算法(后续章节会讲到)Regularization: 保留所有的features,但是减小参数 θ 的值原创 2015-08-26 18:28:34 · 621 阅读 · 0 评论 -
1-Introduction
Part 1:welcomeExamples: Database Mining : Large datasets from growth of automation/web. E.g. ,Web click data, medical records, biology, engineeringApplications can’t program by hand E.g. ,Autono原创 2015-08-15 11:25:51 · 581 阅读 · 0 评论 -
3-Linear Regression with Multiple Variables
一、Gradient Descent for Multiple Variables多属性(multiple features)情况下的线性回归回归方程Hypothesis: , 其中 为待定系数代价函数Cost function:梯度下降算法:二、梯度下降法的一些技巧1. Feature Scaling 训练数据的预处理将所有属性的取值范围化原创 2015-08-15 11:29:48 · 520 阅读 · 0 评论 -
2-Linear Regression with One Variable
一、Model Representation 模型简述样本集:横坐标为房子面积(单位feet2),纵坐标为房价(单位1000$)只含一个参数的回归模型hypothesis function(假设函数):回归函数,对样本的模拟 。函数表达式 : , 其中 为参数二、 Cost Function1.代价函数概述关键点:选择合适的 ,使得 最接原创 2015-08-15 11:27:52 · 443 阅读 · 0 评论 -
12-Dimensionality Reduction
数据的降维处理1 - Motivation I Data Compression II Visualization 数据压缩|可视化 2 - Principal Component Analysis Problem Formulation降维: 2维到1维:找到一个向量 u(1)∈R2u^{(1)}\in R^2 ,让平面上的2维数据投影到这个向量上,并且投影误差最小n维到k维:找到k个原创 2015-09-02 00:44:25 · 616 阅读 · 0 评论 -
16-Application Example Photo OCR
1 - Problem Description and Pipeline 问题描述与系统流水线2 - Sliding Windows 滑动窗口检测在 Text detection 和 Character segmentation 中需要用到滑动窗口。Text detection 步骤:首先用已有数据训练模型(如Neural network等) ,用于识别出图片内容是否为文本。 - 用不同大小的原创 2015-09-02 01:04:04 · 754 阅读 · 0 评论 -
11-Clustering
1 - Unsupervised Learning Introduction 无监督学习数据事先没有标记分类。 应用:Market segmentation 市场分割Social network analysis 社交网络分析Organize computing clusters 计算集群组织Astronomical data analysis 天文数据分析2 - K-Means Al原创 2015-09-02 00:40:36 · 665 阅读 · 0 评论 -
14-Recommender Systems
1 - Problem Formulation 推荐系统电影推荐:nu=n_u = 用户数量nm=n_m = 电影数量r(i,j)=1r(i,j) = 1 用户 j 对电影 i 进行了评价 y(i,j)=y^{(i,j)} = 用户 j 对电影 i 的评分(仅当r(i,j)=1r(i,j)=1时才存在)2 - Content Based Recommendations 基于内容推荐原创 2015-09-02 00:53:08 · 555 阅读 · 0 评论 -
A tutorial on Spectral Clustering
1. 基础知识令 G=(V,E)G=(V,E) 为无向图,节点集为V=v1,v2,...,vnV={v_1,v_2,...,v_n}. 假设图 GG 是有权图,节点 viv_i 和 vjv_j 之间的权重为 wij≥0w_{ij} \geq 0. 权重邻接矩阵为 W=(wij)i,j=1,...,nW=(w_{ij})_{i,j=1,...,n}. 如果 wij=0w_{ij}=0, 则说明它们不相翻译 2017-04-12 10:43:27 · 4745 阅读 · 0 评论