机器学习
文章平均质量分 83
kasdlj
sdaad
展开
-
贝叶斯2-朴素贝叶斯的python实现
简单的例子来说清楚什么是朴素贝叶斯网络原创 2016-03-02 16:22:09 · 2931 阅读 · 0 评论 -
神经网络:学习(2)
初始化,不能一开始全部全设成0,因为这样的话,隐层结点就会变得全部一样,体现不出神经网络多层多结点的优越性。咦~如果层数很多的话,超过三层,那么有个潜规则就是中间的几层的隐节点数一般都是一样大小隐节点数稍微大点输入结点个数这个是极好的。下面就是几个步骤第一步,随机化参数第二步,前向得到一个结果。第三步,计算成本函数第四步,反向传播计算这个theta第原创 2016-08-04 21:45:22 · 340 阅读 · 0 评论 -
再谈SVM
首先,是由逻辑回归引到SVM当中。先回顾一下逻辑回归的知识。其实主要是sigmoid的函数不要搞错。OK,既然是由逻辑回归引出来的,那么先列出逻辑回归的成本函数方程。然后对y为0和1分别进行画图讨论,形象化的图片如下。根据上文的画图后的代表,成本函数就转变成如下的形式。貌似下面就能直接写出SVM的成本方程了。下面只是对前面的系数进行的一些简单的变化。原创 2016-07-22 09:28:13 · 1015 阅读 · 0 评论 -
感知机
感知机首先是二分类的线性分类模型,输入为特征向量,输出为+1或者-1两个值,属于判别模型。它神经网络和支持向量机的基础。原创 2016-08-17 15:41:42 · 566 阅读 · 0 评论 -
凸优化
1.背景:机器学习当中肯定要设计到一些公式的值的优化,比如说:最小二乘,逻辑回归以及SVM这都是优化问题。直接找到公式的全局最优解是一个非常困难的任务,不过,在这种凸优化问题当中,我们能够在很多场合之下有效的找到全局最优解。凸优化哪里好了,因为凸优化局部最优解就是全局最优解而且凸优化理论有个强大的工具就是Lagrange对偶。2.凸集定义:一个集C,对于任何属于C的x和y,都有ax+(原创 2016-08-30 21:43:33 · 1716 阅读 · 0 评论 -
决策树-模型与学习
决策树是一种基本的分类算法,呈树形结构,优点是具有可读性,分类速度快。1决策树学习通常包括3个步骤:特征选择、决策树生成和决策树的修剪。其描述:从根节点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到它的子节点中。这时,每一个子节点对应着特征的一个取值。直到叶节点。最后将实例分到叶节点的类中。2.if-then规则:路径上内部结点的特征对应着规则的条件,而叶节点的类对应着规则原创 2016-08-31 21:40:41 · 450 阅读 · 0 评论 -
SGD,Adam,AdaGrad等优化算法
SGD无动量,下降慢,会陷入局部最优点SGD with Momentum有一个动量,一般值为0.9,即0.9的程度考虑以往的方向,0.1程度考虑当前梯度方向。类似高速上开车,大方向不变的同时,微调方向。SGD_NAG万一你陷入局部最优怎么办,周围都是略高的山,所以要爬上去,才能看到更广阔的的世界因此,某个时刻,不计算当前的梯度方向,跟着历史动量走一步,走完之后再根据下一点的原创 2018-01-26 16:23:39 · 1105 阅读 · 0 评论 -
Pyramid Stereo Matching Network
这篇文章主要有两点,SPP与3d卷积3.1 Network Architecture一般的网络第一个卷积都是用的7×7卷积,因为感受野要大,可是这样子的话计算复杂度较大,本文用三个串联的3×3的卷积去做这样的事情,同样的感受野,计算量大大降低,可以一试。conv0~conv4是残差块用来提取unary feature的。后面就是SPP。用来提取文本信息。再concat左右特征到cost volum...原创 2018-03-29 20:46:20 · 2527 阅读 · 7 评论 -
EdgeStereo: A Context Integrated Residual Pyramid Network for Stereo Matching
3 Approach先介绍原始的CP-RPN,接着介绍端到端多任务的EdgeStereo,包括HED网络以及CP-RPN与HED之间的关系3.1 CP-RPN三部分:local stereo volume extraction 提取成本向量context pyramid 内容金字塔2-D编解码(残差金字塔)local stereo volume extracti原创 2018-03-23 09:17:04 · 1800 阅读 · 4 评论 -
What Makes Good Synthetic Training Data for Learning Disparity and Optical Flow Estimation?
物体形状与动作原创 2018-03-28 20:56:54 · 402 阅读 · 0 评论 -
UnsupervisedMonocular Depth Estimation with Left-Right Consistency
为什么能注意到这篇文章呢,因为它是端到端,同时在loss处可以达到左右一致性检测。就是将post-processing结合到了端到端之中。因此,我很注重它的loss。一般接触的算法都是supervise的,就是都需要质量比较好的ground truth。这篇还有个贡献就是不需要ground truth也依旧可以训练。以图像重建loss可以生成disparity。听说结果比supervise原创 2017-08-03 18:25:24 · 9917 阅读 · 7 评论 -
Adam那么棒,为什么还对SGD念念不忘 (2)
上篇文章中( Adam 那么棒,为什么还对 SGD 念念不忘 (1) —— 一个框架看懂优化算法 ),我们用一个框架来回顾了主流的深度学习优化算法。可以看到,一代又一代的研究者们为了我们能炼(xun)好(hao)金(mo)丹(xing)可谓是煞费苦心。从理论上看,一代更比一代完善,Adam/Nadam已经登峰造极了,为什么大家还是不忘初心SGD呢?举个栗子。很多年以前,摄影离普罗大众非常遥远。十年...转载 2018-03-29 14:24:16 · 1612 阅读 · 1 评论 -
Adam那么棒,为什么还对SGD念念不忘 (1)
“ 说到优化算法,入门级必从 SGD 学起,老司机则会告诉你更好的还有AdaGrad / AdaDelta,或者直接无脑用 Adam。可是看看学术界的最新 paper,却发现一众大神还在用着入门级的 SGD,最多加个 Momentum 或者 Nesterov,还经常会黑一下 Adam。这是为什么呢?”机器学习界有一群炼丹师,他们每天的日常是:拿来药材(数据),架起八卦炉(模型),点着六味真火(优化...转载 2018-03-29 14:26:00 · 3541 阅读 · 0 评论 -
Learning a Discriminative Feature Network for Semantic Segmentation
创新点就是特征区分网络discriminative feature network,本别叫做平滑网络Smooth Network以及边界网络Border Network。这两个网络可以处理类内一致性以及类间区分性。最终。形成了encoder-decoder网络结构,美其名曰Discriminative Feature Network网络结构红线上采样 蓝线下采样 绿线不改变特征尺寸,只是信息的传递...原创 2018-04-27 10:14:36 · 4511 阅读 · 3 评论 -
神经网络:表示
神经网络为什么会诞生。先看逻辑回归。如果有100个特征x1~x100,那么如果想表示x1x2,。。,x1x100.这就要算100*100(o(n^2))个的项了,更何况有的时候不仅仅是二次项。比如我要求的就是一个50×50像素的小图片,总共有2500个像素特征。如果是RGB的那么就7500个特征。如果要用逻辑回归算二次就是7500×7500将近3万的特征,这是非常多的。因此,神经网络也原创 2016-07-22 17:24:50 · 412 阅读 · 0 评论 -
2015阿里移动推荐算法大赛总结
赛题2014年是阿里巴巴集团移动电商业务快速发展的一年,例如2014双11大促中移动端成交占比达到42.6%,超过240亿元。相比PC时代,移动端网络的访问是随时随地的,具有更丰富的场景数据,比如用户的位置信息、用户访问的时间规律等。 本次大赛以阿里巴巴移动电商平台的真实用户-商品行为数据为基础,同时提供移动时代特有的位置信息,而参赛队伍则需要通过大数据和算法构面向建移动电子商务的商品转载 2016-04-19 09:30:16 · 1929 阅读 · 0 评论 -
2015阿里移动推荐算法比赛第一赛季总结
第一赛季是在四月底结束,分数还凑合,过了9.00%。本文只是一篇总结性的文章。发现的问题:1、还是学的不怎么样2、了解的不够深入,实战经验少3、PRML和NG的视频都没看,不算好好学过机器学习4、论文看得太少5、没人指点6、机器设备太差7、比赛参加的有点晚,中间还出去溜达了几天8、单人作战很酸爽~比赛题目转载 2016-04-19 09:28:00 · 1244 阅读 · 2 评论 -
争取几句话描述一下爬山法,模拟退火,遗传算法
简单的介绍下这三个算法原创 2016-03-08 15:08:52 · 3967 阅读 · 0 评论 -
支持向量机-SVM
小白理解的SVM原创 2016-03-07 17:36:54 · 3332 阅读 · 0 评论 -
EM算法
EM算法终结者原创 2016-03-05 21:01:30 · 1544 阅读 · 1 评论 -
聚类2-高斯混合-EM算法
笑谈混合高斯聚类~顺便调侃EM算法原创 2016-03-04 17:12:27 · 2426 阅读 · 1 评论 -
聚类1-K-means-EM算法
戏说k-means原创 2016-03-03 16:17:01 · 2082 阅读 · 0 评论 -
贝叶斯1
笑谈贝叶斯网络的前世今生原创 2016-03-02 11:14:36 · 751 阅读 · 0 评论 -
LIBSVM python
python调用libsvm的简单应用原创 2016-03-08 20:17:10 · 1446 阅读 · 0 评论 -
阿里移动推荐-Markel
原创 2016-04-25 16:59:06 · 541 阅读 · 0 评论 -
第一篇阿里参赛博客总结
原创 2016-04-25 17:01:12 · 388 阅读 · 0 评论 -
集成学习1-Boosting
AdaBoost原创 2016-04-12 11:07:33 · 2966 阅读 · 0 评论 -
主成分分析-PCA
PCA原创 2016-03-12 12:11:35 · 1073 阅读 · 0 评论 -
集成学习2
bagging,随机森林原创 2016-04-15 19:34:39 · 625 阅读 · 0 评论 -
阿里天池比赛快速入门
【这里只讲快速入门——即破题,正负样本不平衡、特征数量等问题就自己多看论文或者其他资料吧~~如果还有数据挖掘相关基础知识不了解的,建议看看《数据挖掘导论》】【以下是理解错误案例】:错误的根本原因是不能保证训练集的构建逻辑与赛题目标保持一致,不能保证训练集和测试集的构建逻辑保持一致,不能保证离线评测的逻辑和线上保持一致!1. 有同学在构建训练集的时候,为了给样本(即ui对)标转载 2016-04-18 09:28:18 · 7405 阅读 · 0 评论 -
ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems
Network architectureLoss function主要用的左图与reconstructioned的左图之间的差异,叫做photometric loss,然后亮处像素之间的差异一定会比暗的地方的差异大的。所以像素之间的residual是跟像素的亮度有关。然而,亮度与视差实际上是不相关的。所以,需要消除亮度的影响。因为非监督里面,的确loss是像素之间的loss。Wei...原创 2018-08-17 09:43:33 · 1712 阅读 · 2 评论