机器学习——集成算法(二)

接着集成算法讲讲GBDT和Xgboost,二者的原理其实差不多的,他们都属于提升算法。梯度上升(Gradient Boosting)是说,在集成算法中每个弱决策树的生成都是依据损失函数的梯度方向。 提升算法,是找到找到最优解F(x)使得损失函数在训练集上期望(偏差)最小。损失函数若是回归则常取最...

2018-09-20 14:40:07

阅读数 100

评论数 0

机器学习算法——逻辑回归

逻辑回归可以说是基于线性回归的了,但是它实际上是做分类工作的,原理虽然简单但是也可以引出很多机器学习的概念。 我们分类的标签如果设定为[0, 1],那么则需要一个函数将映射到0~1的范围,这样就需要一个近似单位阶跃的单调可微的函数,对数几率函数正是这样的函数。                 ...

2018-09-10 21:12:44

阅读数 53

评论数 0

机器学习算法——线性回归

线性回归应该算机器学习算法里面最基础的算法了,分别用作回归(y值为连续值)和分类(y值为离散)。在学习线性回归的过程中,有很多机器学习的概念和方法是在这时候提出的。 在现实中变量之间的关系,是有确定的和非确定的。确定关系指的是变量之间可以使用函数关系式表示,非确定的部分我们可以用概率分布来表示,...

2018-09-09 23:16:05

阅读数 37

评论数 0

机器学习总结——数据预处理和特征工程

实际生产中机器学习的整个过程应该是如下的几步(后面还将从数据挖掘的角度另文进行讲解): 1.场景选择(算法选择)——根据实际问题选择合适的算法,是分类还是回归等,是否需要做特征抽象,或者特征缩放; 2.数据预处理——缺失值的处理,数据清洗等等; 3.特征工程——包括特征构建、特征提取、特征选...

2018-09-09 16:56:01

阅读数 517

评论数 0

机器学习算法——支持向量机

支持向量机(SVM,support vectors machine)的算法原理比较简单,就是寻找最大间隔讲两个类别分开,从数学上推可能复杂点。按照样本的情况一下三种: ①当训练样本线性可分时,通过硬间隔最大化——线性可分支持向量机; ②当训练样本近似线性可分时,通过软间隔最大化——线性支持向量...

2018-08-31 18:00:24

阅读数 56

评论数 0

机器学习算法——集成算法(一)

集成算法(Emseble Learning)是构建多个学习器,然后通过一定策略结合把它们来完成学习任务的,常常可以获得比单一学习显著优越的学习器。周志华的书上说,“个体学习器的"准确性"和"多样性"本身就存在冲突,一般准确性很...

2018-08-27 19:26:52

阅读数 598

评论数 0

机器学习算法——决策树

决策树(Decession Tree) 算法用处很多,而且还是一些集成算法的基础。它的基本原理是:选取某个特征属性,按照特征值来讲最初的样本集分开成两个节点,对分开的节点再选取特征进行划分生成新的节点,一直递归地划分下去直到满足一定条件为止(全部叶子节点中都是一类,或者树的层数、宽度达到一定数值)...

2018-08-25 01:14:18

阅读数 82

评论数 0

机器学习算法——K近邻

KNN(K-Nearest Neighbor,K近邻)算法作为一种分类算法,它的实现原理比较简单:1.指定K值;2.计算当前点与样本点中的距离,并按从小到大顺序排列;3.在距离最小的前K个点中,统计样本的标签数量,将当前点分类到同类最多的类别里面去(也就是少数服从多数的原则)。         ...

2018-08-23 20:27:58

阅读数 67

评论数 0

机器学习算法——聚类

聚类属于无监督学习,事先不知道数据会分为几类,通过聚类分析将数据聚合成几个群体。聚类是不需要对数据进行训练和学习的。主要的聚类算法有K-Means和DBSCAN。 K-Means算法的基本原理比较简单:1.指定K值(数据要分成的簇的数目),并指定初始的k个质心;2.遍历每个数据点,计算其到各个质...

2018-08-23 14:50:44

阅读数 65

评论数 0

机器学习总结(四)——最优化方法

机器学习中所谓的训练其实就是损失函数的优化过程,求损失函数的最优化解,主要是得靠一些常规套路,去一点一点地接近最优化目标。 常用的有梯度下降法、牛顿法和拟牛顿法、共轭梯度法、启发式优化方法、拉格朗日乘数法等。 一、梯度下降法(Gradient Descent)        梯度下降法实现的...

2018-08-21 21:57:19

阅读数 267

评论数 0

机器学习总结(三)——损失函数

经典机器学习算法,他们最本质的区别是分类思想(预测y的表达式)不同,有的是基于概率模型,有的是动态规划,表象的区别就是最后的损失函数不同。 损失函数分为经验风险损失函数和结构风险损失函数,经验风险损失函数反映的是预测结果和实际结果之间的差别,结构风险损失函数则是经验风险损失函数加上正则项(L0、...

2018-08-21 19:59:33

阅读数 1620

评论数 0

机器学习总结(二)——主要过程和名词

讲述机器学习算法的主要过程,以及涉及的一些名词。 1、物理意义,学习不太算法时需要了解其基于什么样的物理过程,比如逻辑回归是将样本的特征通过函数映射为一个(0,1)之间的数字,如果大于决策边界(如0.5)则判定为标签1,小于则判定为0。物理意义其实相当于模型的定义,或者建立模型建立的过程。 2...

2018-08-20 19:03:04

阅读数 35

评论数 0

机器学习总结(一)——主要算法

自学了一段时间的机器学习后来写写自己的一些理解,首先理一下各种学习方法,以及它们的分类。 机器学习的主要算法分为: 一、监督学习(指样本带有标签,知道每个样本分属哪个类别):        主要包括分类和回归,但是很多方法其实可以用于分类,也可以用于回归,如决策树(DT)等。 分类—— 1...

2018-08-19 19:35:58

阅读数 100

评论数 0

leetcode121-python 买卖股票最佳时机

Say you have an array for which the ith element is the price of a given stock on day i.If you were only permitted to complete at most one transaction...

2018-07-07 17:51:06

阅读数 159

评论数 0

leetcode-118 python 杨辉三角

Given a non-negative integer numRows, generate the first numRows of Pascal's triangle.In Pascal's triangle, each number is the sum of the two numbers...

2018-07-05 21:03:18

阅读数 129

评论数 0

leetcode112-python 路径总和

Given a binary tree and a sum, determine if the tree has a root-to-leaf path such that adding up all the values along the path equals the given sum.N...

2018-07-05 20:16:42

阅读数 239

评论数 0

leetcode111-python 二叉树的最小深度

Given a binary tree, find its minimum depth.The minimum depth is the number of nodes along the shortest path from the root node down to the nearest l...

2018-07-05 19:30:24

阅读数 246

评论数 0

leetcode110-python 平衡二叉树

Given a binary tree, determine if it is height-balanced.For this problem, a height-balanced binary tree is defined as:a binary tree in which the dept...

2018-07-05 16:46:55

阅读数 803

评论数 0

leetcode-108 将有序数组转化为二叉搜索树

Given an array where elements are sorted in ascending order, convert it to a height balanced BST.For this problem, a height-balanced binary tree is d...

2018-07-05 15:42:13

阅读数 54

评论数 0

leetcode107-python 二叉树层次遍历

Given a binary tree, return the bottom-up level order traversal of its nodes' values. (ie, from left to right, level by level from leaf to root).For ...

2018-07-04 20:53:33

阅读数 306

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭