Math & Code

决策树和随机森林算法简介1-决策树1.1-决策树模型的结构决策树（decision tree）是一种分类与回归方法，本文主要讨论用于分类的决策树，决策树的结构呈树形结构，在分类问题中，其代表基于特征对数据进行分类的过程，通常可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型可读性好并且分类速度快。训练的时候，利用训练数据根据损失函数...

神经网络反向传播的推导对于神经网络的训练过程而言，其反向传播算法是训练过程的核心，神经网络根据预测值y^y^\hat{y}与实际值yyy的偏差从后向前来计算损失函数对于各个参数的梯度，从而利用梯度下降的方法来优化训练神经网络的各个参数。神经网络的计算流程图如下： 从该流程图可以看到，如果我们要计算神经网络的参数W[1],b[1],W[2],b[2]W[1],b[1],W[2],b[2...

KITTI数据KITTI的数据集有很多，我们在这里选取了其中的raw_data(原始数据)进行融合，数据下载地址：http://www.cvlibs.net/datasets/kitti/raw_data.phpKITTI数据集的数据采集平台装配有2个灰度摄像机，2个彩色摄像机，一个Velodyne 64线3D激光雷达，4个光学镜头，以及1个GPS导航系统。具体的传感器参数如下 ：2...

利用TensorFlow训练一个简单的神经网络我们在这里利用TensorFlow的Eager Execution 来构建模型，这样不用像以前一样创建Graph和Session了，可以使神经网络的训练更加方便快捷，下面以Iris数据集为例来训练一个神经网络，代码来自谷歌的教程。#先导入相关的库from __future__ import absolute_import,division...

机器学习中的数值计算机器学习算法通常需要大量的数值计算，即通过迭代求解近似值而非求得解析解。这些算法通常包括最优化和线性方程组的求解，在计算机中要通过有限位来表示各种浮点数是具有一定误差的，需要通过一些方法来保证我们的计算精度。上溢与下溢上溢(overflow)是具有破坏力的，当大量级的数被近似为−∞−∞-\infty或者∞∞\infty时会发生上溢，这会导致在下一步的计算中，数字变成...

硬间隔的SVM推导SVM是机器学习中的一种经典方法，除了硬间隔SVM之外，还包括软间隔SVM，核技巧等SVM的变种，本文主要介绍硬间隔SVM的推导。假设两类样本点是可以被准确分开的，那么则可以使用硬间隔SVM来进行分类，假设分隔的超平面方程为Wx+b=0Wx+b=0Wx+b=0，则每个样本点xixix_{i}到该超平面的距离为|Wxi+b||Wxi+b||Wx_{i}+b|，如果设定与超平...

硬间隔SVM的SMO序列优化算法上一篇文章(1)我们讨论了硬间隔SVM的推导及其对偶形式，其对偶问题可以化简成以下形式： minαs.t.12∑i=1N∑j=1Nαiαjyiyjxi⋅xj−∑i=1Nαi∑i=1Nαiyi=0αi≥0i=1,2,...,Nminα12∑i=1N∑j=1Nαiαjyiyjxi⋅xj−∑i=1Nαis.t.∑i=1Nαiyi=0αi≥0i=1,2,...,N\b...

软间隔SVM的推导前文介绍了硬间隔SVM的相关推导，本文将继续介绍软间隔SVM的数学推导，即在样本不是线性可分的情况下，允许一部分样本错误分类的SVM。软间隔SVM允许一部分样本不满足约束：yi(w⋅xi)≥0yi(w⋅xi)≥0y_{i}(w\cdot x_{i})\ge 0可以将优化目标写为： minw,b12||w||2+C∑i=1mloss(yi(w⋅xi+b)−1)minw,b...