机器学习
关注
分享
扫一扫
文章平均质量分 71
Tom Hardy
关注计算机视觉、机器学习、深度学习，公众号【3D视觉工坊】【计算机视觉工坊】
展开
-
6D姿态估计算法汇总（下）
前言本文首发于公众号【3D视觉工坊】，更多干货获取请关注公众号~10、PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization论文链接：https://arxiv.org/abs/1505.07427代码链接：http://mi.eng.cam.ac.uk/projects/relocalisati...原创 2019-12-28 09:29:06 · 3900 阅读 · 1 评论 -
6D姿态估计算法汇总（上）
前言本文首发于公众号【3D视觉工坊】，更多干货获取请关注公众号~1、DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion (CVPR2019)原文链接：https://arxiv.org/abs/1901.04780代码链接：https://github.com/j96w/DenseFusion主要思想：用于从R...原创 2019-12-28 09:17:50 · 9589 阅读 · 3 评论 -
非常详细的机器学习知识点汇总（二）之SVM23问
SVM23问1、SVM中的推导过程？推导到对偶问题！2、硬间隔和软间隔如何定义？软间隔中的惩罚系数表示？3、SVM的硬间隔和软间隔表达式？4、SVM使用对偶计算的目的是什么？5、线性可分、近似线性可分、线性不可分的定义？6、什么是KKT条件？7、怎么理解SMO算法？8、是不是所有的优化都可以转换成对偶关系？9、SVM引入拉格朗日算子之后原问题其实就可以求解，为什么要转换成对偶问题...原创 2019-12-08 18:49:44 · 297 阅读 · 0 评论 -
非常详细的机器学习知识点汇总（一）
前言获取更多内容请关注公众号【3D视觉工坊】~机器学习常见问题与名词解释机器学习中的损失函数和优化机器学习中的数据处理原创 2019-12-05 10:08:50 · 1039 阅读 · 0 评论 -
CatBoost之算法解析（Kaggle常用模型）
catboost 简介CatBoost据说是超越LightGBM和XGBoost的一大神器。catboos的三个贡献点它自动采用特殊的方式处理类别型特征（categorical features）。首先对categorical features做一些统计，计算某个类别特征（category）出现的频率，之后加上超参数，生成新的数值型特征（numerical features）。这也是我在这...原创 2019-07-20 15:11:58 · 9630 阅读 · 1 评论 -
机器学习模型之集成算法
转载 2019-06-08 17:16:55 · 221 阅读 · 0 评论 -
LightGBM算法解析
前言在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具–LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。因为他是基于决策树算法的，它采用最优的叶明智策略分裂叶子节点，然而其它的提升算法分裂树一般采用的是深度方向或者水平明智而...原创 2019-06-08 16:00:30 · 917 阅读 · 0 评论 -
python机器学习库xgboost使用调参
XGBoost的安装pip install xgboost如何使用clf = XGBClassifier( learning_rate =0.1, #默认0.3 n_estimators=1000, #树的个数 max_depth=5, min_child_weight=1, gamma=0, subsample=0.8, colsample_bytree=0.8, obj...转载 2019-06-08 13:11:33 · 768 阅读 · 0 评论 -
Deep manta算法解析
算法思想提出 Deep Many-Tasks 方法来对一个图片进行多任务车辆分析，包括车辆检测，部分定位，可见性描述和 3D维度估计。论文的主要贡献包括三个方面：使用图像车辆的特征点来编码 3D 车辆信息。因为车辆具有已知的形状，可以用单目图像重构 3D 车辆信息。我们的方法还可以在车辆部件被遮挡，截断等情况下定位到车辆部件，使用回归的方法而不是 part detector. 预测 hid...原创 2019-06-08 11:31:36 · 1466 阅读 · 1 评论 -
3D Bounding Box Estimation Using Deep Learning and Geometry
算法基本思想3d box的长宽高回归角度回归注意：论文中的角度回归分支是对cosθlcos{\theta_l}cosθl 和sinθlsin{\theta_l}sinθl来进行回归的。类别判断这里的类别判断就是简单的多分类。2d box的回归这个回归没有在文章图中体现出来，但是确实存在，后面的3d box计算也是要基于2d box的信息，2d box回归应该就是加在conf...原创 2019-06-08 11:18:34 · 5376 阅读 · 0 评论 -
ElasticNet算法解析
ElasticNet简介ElasticNet又叫弹性网络回归，要理解ElasticNet回归，首先要理解岭回归和Lasso回归。线性回归ElasticNetSklearn中的ElasticNet回归原创 2019-07-20 15:23:12 · 785 阅读 · 0 评论 -
SVM支持向量机算法详解
原创 2019-07-20 15:47:58 · 344 阅读 · 0 评论 -
SVM中的一些关键点解析
原创 2019-07-20 15:54:39 · 331 阅读 · 0 评论 -
朴素贝叶斯算法解析
原创 2019-07-20 15:59:40 · 267 阅读 · 0 评论 -
Kmeans算法解析（非常详细）
原创 2019-07-20 16:04:38 · 1397 阅读 · 0 评论 -
DBSCAN（自适应密度聚类）算法解析
转载 2019-07-20 16:07:23 · 7012 阅读 · 0 评论 -
ID3、C4.5、CART决策树算法解析（关键内容讲解）
原创 2019-07-20 16:16:36 · 341 阅读 · 0 评论 -
面试之手撕BP反向传播
原创 2019-07-20 16:23:29 · 1117 阅读 · 4 评论 -
XGBoost算法解析（非常详细）
原创 2019-07-20 16:46:50 · 1019 阅读 · 0 评论 -
python自动搜索最佳超参数之GridSearchCV函数
介绍当我们跑机器学习程序时，尤其是调节网络参数时，通常待调节的参数有很多，参数之间的组合更是繁复。依照注意力>时间>金钱的原则，人力手动调节注意力成本太高，非常不值得。For循环或类似于for循环的方法受限于太过分明的层次，不够简洁与灵活，注意力成本高，易出错。本文介绍sklearn模块的GridSearchCV模块，能够在指定的范围内自动搜索具有不同超参数的不同模型组合，有效解放注...转载 2019-06-01 12:01:29 · 6032 阅读 · 2 评论 -
ElasticNet算法解析
介绍ElasticNet又叫弹性网络回归，要理解ElasticNet回归，首先要理解岭回归和Lasso回归。线性回归ElasticNetSklearn中的ElasticNet回归Sklearn库中有sklearn.linear_model.ElasticNetCV和sklearn.linear_model.ElasticNet两个函数可供选择，前者可以通过迭代选择最佳的 λ1\lam...原创 2019-05-26 21:41:09 · 21929 阅读 · 0 评论 -
SVM几种核函数的对比分析以及SVM算法的优缺点
SVM核函数的作用SVM核函数是用来解决数据线性不可分而提出的，把数据从源空间映射到目标空间（线性可分空间）。SVM中核函数的种类1、线性核优点：方案首选，奥卡姆剃刀定律简单，可以求解较快一个QP问题可解释性强：可以轻易知道哪些feature是重要的限制：只能解决线性可分问题2、多项式核基本原理：依靠升维使得原本线性不可分的数据线性可分；升维的意义：使得原本线性不可分的数...转载 2019-04-25 14:54:00 · 41173 阅读 · 2 评论 -
L0、L1与L2范数
前言在深度学习中，监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据，而规则化参数的目的是防止模型过分拟合训练数据。参数太多，会导致模型复杂度上升，容易过拟合，也就是训练误差小，测试误差大。因此，我们需要保证模型足够简单，并在此基础上训练误差小，这样训练得到的参数才能保证测试误差也小，而模型简单就是通过规则函数来实现的。规则化项可以是模型参数向量的范数。如：L...原创 2018-06-08 08:37:45 · 408 阅读 · 0 评论 -
GDBT、AdaBoost、XGBoost提升算法解析
简单地来说，提升就是指每一步我都产生一个弱预测模型，然后加权累加到总模型中，然后每一步弱预测模型生成的的依据都是损失函数的负梯度方向，这样若干步以后就可以达到逼近损失函数局部最小值的目标。下面开始要不说人话了，我们来详细讨论一下Boost算法。首先Boost肯定是一个加法模型，它是由若干个基函数及其权值乘积之和的累加，...转载 2018-06-21 09:03:12 · 565 阅读 · 0 评论 -
XGBoost算法原理
1.序 距离上一次编辑将近10个月，幸得爱可可老师（微博）推荐，访问量陡增。最近毕业论文与xgboost相关，于是重新写一下这篇文章。 关于xgboost的原理网络上的资源很少，大多数还停留在应用层面，本文通过学习陈天奇博士的PPT、论文、一些网络资源，希望对xgboost原理进行深入理解。（笔者在最后的参考文献中会给出地址）2.xgboost vs gbdt 说到xgboo...转载 2018-06-21 08:50:11 · 450 阅读 · 0 评论 -
Logistic回归及梯度上升算法
逻辑回归逻辑回归可以用来进行回归与分类，两者仅有略微不同，主体算法是一样的，本文以分类进行讲解。如下图二分类问题，我们希望找到一个直线（高维空间为超平面）来将数据划分开。 梯度上升有了以上的逻辑回归的理论基础，下面我们编程实现这一步骤。就以第一张图的样本为例进行，样本维数为2维，采用梯度上升算法进行迭代。 迭代步数自己选择批量梯度上升 批量梯度上升每进行一次迭代...转载 2018-06-20 20:53:07 · 469 阅读 · 0 评论 -
条件随机场CRF
条件随机场CRF 最近在看条件随机场，发现书上讲的内容太过深奥，对机器学习的小白来说未免太难，笔者基于李航的《统计学习方法》以及网上的一些大牛博客来简单介绍下条件随机场。假设你有许多小明同学一天内不同时段的照片，从小明提裤子起床到脱裤子睡觉各个时间段都有。现在的任务是对这些照片进行分类。比如有的照片是吃饭，那就给它打上吃饭的标签；有的照片是跑步时拍的，那就打上跑步的标签；有的照片是开原创 2017-12-15 10:41:16 · 350 阅读 · 0 评论 -
推荐系统
最近在做推荐系统，在项目组内做了一个分享。今天有些时间，就将逻辑梳理一遍，将ppt内容用文字沉淀下来，便于接下来对推荐系统的进一步研究。推荐系统确实是极度复杂，要走的路还很长。 A First Glance 为什么需要推荐系统——信息过载 随着互联网行业的井喷式发展，获取信息的方式越来越多，人们从主动获取信息逐渐变成了被动接受信息，转载 2017-07-25 21:25:17 · 488 阅读 · 0 评论 -
机器学习资源大全
好的资源对学习至关重要，在这里搜集了一些比较好的学习资源供大家学习转载 2017-07-09 09:43:46 · 2848 阅读 · 0 评论 -
先验概率和后验概率
先验概率，后验概率，似然概率，条件概率，贝叶斯，最大似然老是搞混，因此在这里总结一下常规的叫法：1、先验概率： 事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。 2、后验概率： 事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。 3、条件概率： 一个事件...原创 2018-06-08 09:16:42 · 12690 阅读 · 2 评论 -
XGBoost和GBDT的区别与联系
GBDT提升树利用加法模型与前向分布算法实现学习的优化过程。当损失函数是平方损失和指数损失函数时，每一步优化是很简单的。但是对一般损失函数而言，往往每一步优化并不是那么容易。针对这一问题，Freidman提出了梯度提升算法。这是利用最速下降法的近似方法，其关键是利用损失函数在当前模型的值：算法第1步初始化，估计使损失函数极小化的常数值，它是只有一个根节点的树，第2（a）步计算损失函数的负...原创 2019-04-20 19:13:43 · 894 阅读 · 0 评论 -
伪代码之KMeans和DBSCAN
一、KMeans在数据集N中随机初始化k个质心。遍历数据集中的每个点，判断点到指定质心的距离，并把点归到距离最小的质心类别里。对(2)中处理后的所有类别点进行质心的计算，更新k个质心。重复(2)(3)操作，直到质心稳定或者到达指定迭代次数停止。二、DBSCANDBSCAN是基于自适应聚类的方法，主要参数有 ε（半径参数），密度阈值Minpts。给定数据集N，此时所有的点被标记为...原创 2019-04-08 18:00:04 · 1692 阅读 · 0 评论 -
遗传算法详解
大自然有种神奇的力量，它能够将优良的基因保留下来，从而进化出更加强大、更加适合生存的基因。遗传算法便基于达尔文的进化论，模拟了自然选择，物竞天择、适者生存，通过N代的遗传、变异、交叉、复制，进化出问题的最优解。遗传算法看似神奇，但实现思路却较为简单。本文先跟大家介绍遗传算法的基本思想，然后用遗传算法来解决一个实际问题，最后给出遗传算法的代码实现和解析。废话不多说，现在就开始吧～遗传算法...转载 2018-11-05 14:15:03 · 3513 阅读 · 0 评论 -
GMM混合高斯模型算法详解
使用概率模型的原因k均值等价于假设了球对称形状的聚类。使用带权欧式距离，仍然假设了轴对齐的椭球。没有考虑聚类的形状。 促使概率模型的原因：混合模型提供观测点到聚类的软分配soft assignment（分配包含不确定性）考虑了聚类的形状而不仅仅是中心允许从不同维度来学习权重高斯分布 双变量高斯分步，协方差矩阵的主对角线决定了展度；副对角线决定朝向 高斯混合模型 GMM...转载 2018-11-10 09:48:08 · 960 阅读 · 0 评论 -
机器学习中的偏差和方差理解
数学解释偏差：描述的是预测值（估计值）的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散，如下图右列所示。机器学习中的偏差和方差 首先，假设你知道训练集和测试集的关系。简单来讲是我们要在训练集上学习一个模型，然后拿到测试集...转载 2018-07-31 12:36:10 · 3230 阅读 · 0 评论 -
机器学习中的分类模型和回归模型
机器学习中的分类模型1.KNN 2.感知机 3.朴素贝叶斯法 4.决策树 5.逻辑斯谛回归模型 6.SVM 7.AdaBoost 8.随机森林 9.贝叶斯网络 10.神经网络机器学习中的回归模型1.线性回归 2.多项式回归 3.岭回归(Ridge Regression) 4.Lasso回归 5.GBDT 6.CART...原创 2018-06-20 16:34:44 · 7218 阅读 · 0 评论 -
Kaggle实战之leaf classification（树叶分类）
介绍首先来直观看下所要分类的图像数据： 在这里一共是99种树叶，每种树叶包含16幅图像，因此训练集中一共1584幅图像。然而，我们不对图像直接操作，kaggle为每个图像提供三组特征：形状连续描述符，内部纹理直方图和细尺度边缘直方图。 对于每个特征，每个叶样本给出一个64属性的向量，因此，对于一幅图像来说，一共是64x3=192个向量。kaggle把每个训练图像转化成一个192维向量...原创 2018-06-10 12:58:16 · 11544 阅读 · 10 评论 -
一步一步实现KNN分类算法
参考机器学习实战第二章，自己实现了一遍from numpy import *import operatorimport pandas as pdfrom os import listdir#inX是测试数据，dataSet是训练数据集，labels是标签，返回的是概率最大的标签def classify0(inX, dataSet, labels, k): dataSetSi...原创 2018-06-22 21:20:37 · 312 阅读 · 0 评论 -
聚类
机器学习算法与Python实践之K-means均值聚类转载 2017-07-08 16:08:22 · 826 阅读 · 0 评论