2017年11月_遇见更好的自己

原创机器学习基石-Three Learning Principles

大纲Occam’s RazorSimple Model简单的假设是指包含更少的参数简单的模型是指包含更少的假设简单的模型通常意味着简单的假设Simple is Better那为什么简单的模型更好呢？下面从哲学的角度简单解释一下。机器学习的目的是“找规律”，即分析数据的特征，总结出规律性的东西出来。假设现在有一堆没有规律的杂乱的数据需要分类，要找到一个模型，让它的EinE_{in}=0，是很难

2017-11-27 17:17:08 220

原创机器学习基石-Validation

大纲Model Selection Problem1 Model Selection Problem在机器学习建立模型的过程中有很多选择，对于简单的二分类问题我们的目标是选择最好的搭配，建立好模型，得到一个好的gg,使Eout(g)E_{out}(g)最小假设有M个模型，对应有H1,H2,⋯,HMH_1,H_2,⋯,H_M，即有M个hypothesis set，演算法为A1,A2,⋯,AMA_1,A

2017-11-27 15:35:39 499

原创机器学习基石-Regularization

大纲Regularized Hypothesis Set1 Regularization我们做regularization的目的就是从高维的假设空间倒退回低维的假设空间2 Stepping Back as Constraint我们从高维到低维倒退，可以将高阶部分的权重置为0，这样相当于在原假设的基础上加上了约束3 Regression with Looser Constraint刚刚我们讨论的限

2017-11-23 19:38:18 369

原创机器学习基石-Hazard of Overfitting

大纲What is OverfittingBad Generation and Overfitting 通过图像分析，我们可以知道如果我们取比较大的dVCd_{VC}，这时候的模型复杂度很高，EinE_{in}小，EoutE_{out}大，这时候Eout−EintE_{out}-E_{int}很大，我们称之为Bad Generation当dVC=d∗VCd_{VC} = d_{VC}^*向dV

2017-11-23 11:18:31 327

原创机器学习基石-Nonlinear Transformation

大纲Quadratic Hypotheses线性模型虽然简单，dVCd_VC很小，Ein≈EoutE_{in} \approx E_{out},但是对于某些线性不可分的数据，会导致EinE_{in}太大，那这样的分类器效果也不是很好。我们如何打破线性模型的限制呢？Circular Separable虽然上面的数据点线性不可分，但是他可以用一个圆圈分开，我们从这里得到启发，是否我们可以设计Circul

2017-11-22 19:52:10 474

原创机器学习基石-Linear Model for Classification

大纲Linear Models for Binary Classification1 Linear Models Revisited通过上图，我们发现，linear regression和logistic regression的损失函数都是凸函数，都可以方便的求出最小值对应的解，而linear classification的损失函数不易优化，所以我们能否利用linear regression和log

2017-11-21 15:40:05 544

原创机器学习基石-Logistic Regression

大纲Logistic Regression例子一般的二分类问题，比如说是否患有心脏病软性二分类问题，这个值接近1,表示患病的可能性越大，越接近0，表示患病的可能性越小。Soft Binary Classification对于软性二分类问题，理想的数据是分布在[0,1]之间的具体值，但是实际中的数据只可能是0或者1，我们可以把实际中的数据看成是理想数据加上了噪声的影响。Logistic Hypoth

2017-11-20 19:09:32 211

原创机器学习基石-Linear Regression

大纲Linear Regression Problem当y∈R时y \in R时，我们就成为机器学习问题为回归问题1 Linear Regression Hypothesish(x)=wTxh(x) = w^Tx2 Illustration of Linear Regression 线性回归问题就是在空间中，寻找一个线或者超平面，满足点到超平面拥有最小的误差3 The Error Measure

2017-11-20 15:19:55 369

原创机器学习基石-Noise and Error

大纲Noise and Probabilistic Target以前的VC Bound在没有noise的条件下是成立的，但如果引入noise，是否还依旧成立？Probabilistic Marbles接下来我们看在引入noise之后的情况就像以前的抽球的例子，如果数据没有noise，我们称为确定性颜色的球，，如果数据有noise,那么球的颜色就是不确定的啦。我们可以用概率分布来表示球的颜色p(y/x

2017-11-19 21:14:36 498

原创机器学习基石-The VC Dimension

大纲Definition of VC dimension1 回顾首先，我们知道如果一个假设空间H有break point k，那么它的成长函数是有界的，它的上界称为Bound function。根据数学归纳法，Bound function也是有界的，且上界为Nk−1。从下面的表格可以看出，O(Nk−1)O(N^{k-1})比B(N,k)松弛很多。根据上节课的推导，VC Bound可以转化为如果

2017-11-19 14:55:57 5679 1

原创机器学习基石-The theory of generation

大纲Restriction of Break Point我们发现，当N>kN>k时,break point k限制了mH(N)m_H(N)最大值的大小，也就是说，影响mH(N)m_H(N)大小的因素有两个训练数据DD的大小break point k(不同的k代表不同的假设)那么，如果给定N和k，能够证明其mH(N)m_H(N)的最大值的上界是多项式的，则根据霍夫丁不等式，就能用mH(N)m_H

2017-11-18 22:00:00 450

原创机器学习基石-Training versus Testing

大纲Recap and Preview下图是到目前为止，我们所能了解到的机器学习的基本流程该流程图说明，用于训练的训练数据DD和用于测试演算法所选择的最好的假设gg的数据都来自同一分布，并且|H|\vert{H}\vert是有限的，训练数据DD应该足够大，根据Hoeffding不等式，出现Bad Sample的几率很小，即Ein(h)≈Eout(h)E_{in}(h) \approx E_{out}

2017-11-18 19:30:30 424

原创机器学习基石-Feasibility of Learning

大纲Learning is ImpossibleNo Free Lunch Theory假设有8个hypothesis，这8个hypothesis在D上，对5个训练样本的分类效果效果都完全正确。但是在另外3个测试数据上，不同的hypothesis表现有好有坏。在已知数据D上，g≈f；但是在D以外的未知数据上，g≈f不一定成立。而机器学习目的，恰恰是希望我们选择的模型能在未知数据上的预测与真实结果是一

2017-11-18 10:05:03 457

原创机器学习基石-Types of Learning

课程大纲Learning with Different Output Space YY按照输出空间的类型，我们可以把机器学习问题分为四类binary classification：y={−1.+1}y = \{-1.+1\},比如垃圾邮件分类问题multiclass classification：y={1,2,...K}y = \{1,2,...K\}，比如硬币识别问题regression：y

2017-11-16 20:27:22 297

原创机器学习基石-Learning to Answer Yes/No

课程大纲Perceptron Hypothesis Set1.Hypothesis的线性表示x=(x1,x2,...xd)x = (x_1,x_2,...x_d)y={+1,−1}y = \{+1,-1\}h(x)=sign((∑i=1dwixi)−thershold)h(x) = sign((\sum_{i=1}^dw_ix_i)-thershold)2.Hypothesis的向量表示h(x

2017-11-16 17:30:28 294

原创机器学习基石-The learning problem

课程大纲What is Machine Learning1.定义机器从数据中总结经验，从数据中找出某种规律或者模型，并用它来解决实际问题。 2.机器学习的应用场景存在隐含的模式可以学习，也就是说可以通过学习可以提升表现度量没有程式化的定义，或者定义问题很难，难以使用普通编程问题来解决有大量可供学习的数据Components of Machine Learning基本的符号约定input：

2017-11-16 11:20:15 280

原创机器学习技法-Linear Support Vector Machine

大纲Large-Margin Separating Hyperplane由于PLA算法的随机性，可能得到多条分割超平面，那么那条是最好的呢？直觉告诉我们，最右边的是最好的。为什么呢？先给个简单解释，一般情况下，训练样本外的测量数据应该分布在训练样本附近，但与训练样本的位置有一些偏差。若要保证对未知的测量数据也能进行正确分类，最好让分类直线距离正类负类的点都有一定的距离。这样能让每个样本点附近

2017-11-15 19:28:52 1068

原创 XgBoost详解

Tree Ensemble参数对应树的结构，以及每个叶子节点上的预测分数如何学习参数定义合理的目标函数，然后尝试优化目标函数我们可以把模型定义成 yi^=∑Kk=1fk(xi)\hat{y_i} = \sum_{k=1}^Kf_k(x_i) fk∈Ff_k \in F 因此目标函数可以写为Obj(Θ)=∑ni=1l(yi^,yi)+∑Kk=1Ω(fk)Obj(\Theta) = \s

2017-11-14 19:34:06 472

原创 Coursea吴恩达《卷积神经网络》课程笔记(2)深度卷积网络

经典的卷积神经网络架构LeNet-5AlexNetVGGResNetInception(Google Network)残差网络残差网络是由残差块组成1 残差网络块z[l+1]=W[l+1]a[l]+b[l+1]z^{[l+1]} = W^{[l+1]}a^{[l]} + b^{[l+1]} a[l+1]=g(z[l+1])a^{[l+1]} = g(z^{[l+1]}) z[l+2]

2017-11-14 16:06:49 580

原创 Coursera吴恩达《卷积神经网络》课程笔记(1)卷积神经网络

计算机视觉计算机视觉问题图片分类目标检测画风迁移在大图片上的深度学习如果采用传统的全连接层，可能会导致参数巨大，导致无法进行计算。卷积神经网络由此产生边缘检测的例子可以设计一些专用的filter来提取图片的纵向边缘和横向边缘 - vertical edges horizontal edges 这些专用的filters是计算机视觉专家精心设计出来的，往往可以提取一些不错

2017-11-13 11:04:14 3213

原创 Coursea吴恩达《结构化机器学习》课程笔记(2)机器学习策略下

1 误差分析拿猫分类器的例子来说明：比如通过查看分类错误的的样本发现分类器将上面的狗狗图片误分类为猫，这是一种错误情况。误差分析的一般做法是：随机开发集中误分类的样本中随机选取少量样本（大概100个左右),逐个的进行查看。统计可能发生的错误情况，绘制成表格。在这个例子中，可能发生的错误情况包括：把狗狗识别成了猫。把猫科动物识别成了猫。可能有些照片比较模糊，导致识别错误。这时候可以

2017-11-11 22:07:19 407

转载 Coursea吴恩达《结构化机器学习项目》课程笔记(1)机器学习策略上篇

转载自http://blog.csdn.net/column/details/17767.html结构化机器学习项目 — 机器学习策略（1）1. 正交化表示在机器学习模型建立的整个流程中，我们需要根据不同部分反映的问题，去做相应的调整，从而更加容易地判断出是在哪一个部分出现了问题，并做相应的解决措施。正交化或正交性是一种系统设计属性，其确保修改算法的指令或部分不会对

2017-11-11 15:56:53 1145

转载 Coursea吴恩达《优化深度神经网络》课程笔记（3）超参数调试、正则化以及优化

转载自http://blog.csdn.net/koala_tree/article/details/78059952改善深层神经网络：超参数调试、正则化以及优化 —超参数调试和 Batch Norm1. 超参数调试处理在机器学习领域，超参数比较少的情况下，我们之前利用设置网格点的方式来调试超参数；但在深度学习领域，超参数较多的情况下，不是设置规则的网格点，而是随机选择点

2017-11-10 21:30:24 1517

转载 Coursea吴恩达《神经网络和深度学习》(4)

转载自http://blog.csdn.net/koala_tree/article/details/78087711神经网络和深度学习—深层神经网络1. 矩阵的维度DNN结构示意图如图所示：对于第l层神经网络，单个样本其各个参数的矩阵维度为：W[l]：(n[l],n[l−1])b[l]：(n[l],1)dW[l]：(n[l],n[l

2017-11-08 17:15:48 367

转载 Coursera吴恩达《神经网络和深度学习》课程笔记（3）

转载自http://blog.csdn.net/koala_tree/article/details/78059952神经网络和深度学习—浅层神经网络1. 神经网络表示简单神经网络示意图：神经网络基本的结构和符号可以从上面的图中看出，这里不再复述。主要需要注意的一点，是层与层之间参数矩阵的规格大小：输入层和隐藏层之间

2017-11-07 17:08:30 467

转载 Coursera吴恩达《神经网络和深度学习》课程笔记(2)

神经网络和深度学习—神经网络基础1. 二分类问题对于二分类问题，大牛给出了一个小的Notation。样本：(x,y)，训练样本包含m个；其中x∈Rnx，表示样本x 包含nx个特征；y∈0,1，目标值属于0、1分类；训练数据：{(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}输入神经网络时样本数据的形状： X.s

2017-11-06 23:08:59 544

转载 Coursera吴恩达《优化深度神经网络》课程笔记（2）-- 优化算法

转载自 http://blog.csdn.net/red_stone1/article/details/78348753上节课我们主要介绍了如何建立一个实用的深度学习神经网络。包括Train/Dev/Test sets的比例选择，Bias和Variance的概念和区别：Bias对应欠拟合，Variance对应过拟合。接着，我们介绍了防止过拟合的两种方法：L2 regularization和

2017-11-06 10:07:39 241

转载 Coursera吴恩达《优化深度神经网络》课程笔记（1）-- 深度学习的实用层面

改善深层神经网络：超参数调试、正则化以及优化 —深度学习的实践方面1. 训练、验证、测试集对于一个需要解决的问题的样本数据，在建立模型的过程中，我们会将问题的data划分为以下几个部分：训练集（train set）：用训练集对算法或模型进行训练过程；验证集（development set）：利用验证集或者又称为简单交叉验证集（hold-out cross

2017-11-05 19:31:24 1193

原创动态规划之从搜索到记忆化搜索到递推式

120. TriangleGiven a triangle, find the minimum path sum from top to bottom. Each step you may move to adjacent numbers on the row below.For example, given the following triangle[ [

2017-11-03 16:35:27 375

原创动态规划之-用局部最优和全局最优实现时间优化

198. House RobberYou are a professional robber planning to rob houses along a street. Each house has a certain amount of money stashed, the only constraint stopping you from robbing each of them

2017-11-03 14:51:07 5521

转载背包六问

Backpack IProblem 单次选择+最大体积Given n items with size Ai, an integer m denotes the size of a backpack. How full you can fill this backpack?NoticeYou can not divide any item into small pie

2017-11-02 16:04:16 161

格物致知