![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习基石
文章平均质量分 73
1只小包子
没什么好说的,开始吧
展开
-
机器学习基石 ------Type of learning
FeatureConcrete FeatureRaw FeatureAbstract Feature以识别手写数字为例:1.Concrete Feature: 具体的特征,通常具体特征对于机器学习而言会产生较大的影响 比如对于不同的手写数字,像素分布密度不同,对称性不同 等等(密度 对称性 是较为具体的特征)具有现实意义的特征2. Raw Feature : 对于手写数字而言,每一...原创 2018-11-08 21:33:07 · 365 阅读 · 0 评论 -
机器学习技法------Blending and Bagging
Blending在训练样本中学习得到若干个gtG= 1/T ∑ t gt则:此时是对于一个样本x 如果是对于所有的样本那么就变成了avg(Eout(gt))= avg(ε(gt-G)2)+Eout(G)此时可以看做Eout(G) 代表多个g和真正分布之间的差距 叫做bias而 gt 和G之间的差距称作 variance对于回归问题而言 blending for regres...原创 2019-01-08 10:02:35 · 344 阅读 · 0 评论 -
机器学习技法-------作业一
[Ref]REF2(https://tulongf.github.io/2017/01/17/机器学习技法Homework1/)对于原始的soft margin svm目标函数为∑w,b,ζ 1/2 ||w|| 2+∑i ζi 其中w 为d个 ζ为N个 b为一个 因此总共 N+d+1 个变量将各个点代入到转换函数中 求得z空间数据分布如下所以选z1=4.5常用的核函数有如...原创 2018-12-24 23:35:05 · 1224 阅读 · 0 评论 -
SVM与核函数
文章目录核函数本质核技巧核函数核函数核函数本质1.在实际数据上经常遇到线性不可分的情况 而解决方法是将特征映射到更高维的空间去(为什么低维度线性不可分的情况映射到高维度就可以分了?).2.凡是遇到线性不可分的情况 一律映射到高维度空间 会出现维度爆炸的情况3.核函数虽然也是将特征进行从低维到高维的转化 但是是在低维上进行计算 而实际的效果表现在高维上 解决了维度爆炸的问题核技巧给定...原创 2018-12-17 23:28:34 · 23739 阅读 · 2 评论 -
机器学习技法------Kernel Logistics Regression
从Soft margin 出发对于soft margin 而言 和 hard margin唯一的不同就是增加了一个 ζ,而ζ代表的是 margin violation (即违反margin的大小)也就是说 对于support vector而言 违反的margin大小就是当前点的位置到原始边界的距离,如下图黑线所示因此对于ζ 存在两种可能:有违反margin的情况出现: ζ=1-yn(wx...原创 2018-12-27 08:42:57 · 374 阅读 · 0 评论 -
机器学习基石
感知机模型约定:在下列公式中对于向量均使用列向量的方式,即X=(x1,x2,…xn) TH:hypothesis ,通过学习所得的模型F:自然存在的潜在规则,理想状况下的模型(X 是通过F产生的,即X代表着F的分布)X:(x1,x2,…xn) T , X∈ Rn ,X代表学习资料的向量化表示Y:对于二分类而言 Y=+1 表示正类别 Y=-1表示副类别W:(w1,w2,…wn) ...原创 2018-11-07 23:05:45 · 181 阅读 · 0 评论 -
机器学习基石--------feasibility of learning
1.语法示例1.1 suyiasdaasdasada asdad原创 2018-11-08 22:23:25 · 236 阅读 · 0 评论 -
机器学习基石-------HW1
实现PLAimport pandas as pdimport numpy as npdataPath='../data/data.dat'def PLA(): count=0 #记录w更新次数 index=0 #记录更新w之后遍历数据的条数 i =0 #作为遍历数组的游标 with open(dataPath) as files: df=pd...原创 2018-11-09 23:02:13 · 333 阅读 · 0 评论 -
机器学习技法------SVM
文章目录Large Margain Separating HyperplaneLarge Margain Separating Hyperplane该节课的重点就是推导出 hard margin 的Linear SVM对于线性分类器而言 例如感知机模型 如果测试数据和训练数据分布完全一致 那么上述三个分类器对于分类结果不会产生区别 但是在实际使用的过程中难免会有误差的存在 因此对于误差的容...原创 2018-12-03 22:42:56 · 212 阅读 · 0 评论 -
GBDT,LightGBM
GBDT添加链接描述GB:Gradient Boost 学习策略DT:Decision Tree 决策树模型GBDT:使用Gradient Boost 训练决策树模型结果:一组回归分类树的组合 (CART Ensemble ) T1,T2,T3 …其中Ti 学习的是T i-1 的残差此时需要解决两个问题:1.残差是如何计算的2.一组回归分类树是如何ensemble的Gradi...原创 2018-12-03 14:22:18 · 835 阅读 · 0 评论 -
机器学习基石------validation
核心目的:如何选择一个Eout最小的模型可能的选择方式:1.选择一个Ein最小的模型问题:对于越复杂的模型 模型的拟合能力就越强 如果单单把Ein作为选择的评判标准 那么相对于复杂模型简单模型永远不会被选到;同时这样不加正则一定会比正则好 因为不加正则就是单纯最小化 Ein 会overgitting转化思路不使用Ein 而是使用Evalidation此时最重要的是validation...原创 2018-11-30 21:38:17 · 372 阅读 · 0 评论 -
机器学习基石 ------正则化
正则化对于有限多个训练样本(可以把他们想象成二维空间中的点),能够拟合这有限多个训练样本的函数非常多,如何在这些能够拟合当前有限多个训练样本的目标函数中寻找一个能够较好拟合目标分布的函数我们可以看到穿过data的函数可以有很多种 有的比较简单 有的略微复杂对于线性回归而言高次的线性回归的hypothesis set 包含低次线性回归的hypothesis set其实低次的线性回归函数...原创 2018-11-30 19:19:25 · 395 阅读 · 0 评论 -
机器学习技法------对偶SVM
文章目录SVM对偶问题SVM对偶问题原始SVM问题如下最小化一个具有n个条件限制的公式其中zn是xn的非线性转化定义拉格朗日函数证明拉格朗日函数和原来具有限制的最小化问题是等值的此时SVM转化为 当给定一个b和w 求解 L(b,w,α)的最大值 之后在所有给定的b,w中选择一组 使得 所有的L(b,w,α)中最小的一个为了证明写成一个没有限制的SVM的形式也是和有限制的形式是...原创 2018-12-04 23:00:59 · 564 阅读 · 0 评论 -
机器学习基石------Hazard of Overfitting
对于需要拟合的数据(x1,x2,x3…) 我们可以使用一个多项式取拟合这些数据 如果这些数据分布 f(x) 为二次函数当我们使用一个好的VC dimension 即和原始分布相似的VC dimension 那么我们可以较好的拟合原始数据分别当我们选择的VC dimension较大的时候 我们同样也可以很好的fit训练数据 但是由于模型过于复杂 可能只是在给定的数据点处较好的拟合数据 泛化能力...原创 2018-11-28 22:30:25 · 192 阅读 · 0 评论 -
机器学习基石------Linear Model for Classification
机器学习基石------Linear Model for ClassificationLinear Model for Binary ClassificationStochastic Gradient DescentMulticlass via Logistic RegressionMulticlass via Linear RegressionLinear Model for Bin...原创 2018-11-22 21:14:57 · 342 阅读 · 0 评论 -
机器学习基石-------Linear Regression and Logistics Regression
机器学习基石 -------线性回归和逻辑回归Linear Regression AlgorithmGeneralization issue Linear Regression for Binary classification Linear Regression Algorithm对于X 是一个Nd+1 的矩阵 y是一个N1 的向量现在我们要做的就是最小化 Ein(w)...原创 2018-11-21 08:45:59 · 410 阅读 · 0 评论 -
机器学习基石------Training versus Testing
机器学习基石 ------Training Versus TestingRecap and PreviewEffective number of lines Effective number of hypotheses Break pointRecap and Preview原创 2018-11-12 09:12:47 · 279 阅读 · 0 评论 -
机器学习基石------Theory of Generalization
机器学习基石 ------ Theory of GeneralizationRestriction of break point Bounding Function :Basic Cases Bounding Function:Inductive A Pictorial Proof bounding function B(N,k):成长函数 mH(N) 这个成长函数的brea...原创 2018-11-14 08:19:30 · 286 阅读 · 0 评论 -
机器学习技法实现------决策树
写在前面决策树博客ID3 实现因为决策树的创建是递归的形式 所以整个创建过程符合传统递归算法的套路 即 递归返回条件 递归切分条件 递归过程首先递归返回条件:当输入训练样本的label完全属于同一类时 返回树的叶子节点,返回值为该类别值当输入样本的特征均已被遍历过一次(每次生成树的时候选取一个信息增益最大的特征 按照该特征不同取值将 训练样本分为不同是subsamples,每遍历一...原创 2019-01-22 21:44:33 · 214 阅读 · 0 评论