机器学习框架
文章平均质量分 93
本专栏分析机器学习框架相关知识,包含传统的机器学习框架与深度学习框架
秃顶的码农
杜宝坤,隐私计算行业从业者,从0到1带领团队构建了京东的联邦学习解决方案9N-FL,同时主导了联邦学习框架与联邦开门红业务。框架层面:实现了电商营销领域支持超大规模的工业化联邦学习解决方案,支持超大规模样本PSI隐私对齐、安全的树模型与神经网络模型等众多模型支持。业务层面:实现了业务侧的开门红业务落地,开创了新的业务增长点,产生了显著的业务经济效益。
个人比较喜欢学习新东西,乐于钻研技术。基于从全链路思考与决策技术规划的考量,研究的领域比较多,从工程架构、大数据到机器学习算法与算法框架均有涉及。欢迎喜欢技术的同学和我交流。
同名公众号:秃顶的码农
展开
-
深度学习框架TensorFlow系列之(五)优化器3
1 背景梯度下降算法是目前最流行的优化算法之一,并且被用来优化神经网络的模型。业界知名的深度学习框架TensorFlow、Caffe等均包含了各种关于梯度下降优化算法的实现。然而这些优化算法(优化器)经常被用作黑盒优化器,造成对这些算法的优缺点以及适用场景没有一个全面而深刻的认知,可能造成无法在特定的场景使用最优解。梯度下降法的的目标是在梯度的相反方向进行模型参数的更新,从几何学来说,就是沿着斜率的方向(最快)由目标函数创建的曲面一直向下直到山谷,并且通过合理的步长设置加快与稳定算法模型的收敛,训原创 2022-03-06 20:19:17 · 1323 阅读 · 0 评论 -
深度学习框架TensorFlow系列之(五)优化器2
1 背景梯度下降算法是目前最流行的优化算法之一,并且被用来优化神经网络的模型。业界知名的深度学习框架TensorFlow、Caffe等均包含了各种关于梯度下降优化算法的实现。然而这些优化算法经常被用作黑盒优化器,造成对这些算法的优缺点以及适用场景没有一个全面而深刻的认知,可能造成无法在特定的场景使用最优解。这篇文章主要对各种梯度下降优化算法进行全面成体系的分析,帮助相关的算法开发人员在模型开发的过程中选取合适的算法。相对来说,这块内容较多会分成几个章节进行,以下是章节情况,本章会介绍模型训练的相关难题原创 2022-01-30 10:04:14 · 1659 阅读 · 0 评论 -
深度学习框架TensorFlow系列之(五)优化器1
1 背景梯度下降算法是目前最流行的优化算法之一,并且被用来优化神经网络的模型。业界知名的深度学习框架TensorFlow、Caffe等均包含了各种关于梯度下降优化器的实现。然而这些优化器经常被用作黑盒使用,而无法对这些优化算法的优缺点以及适用场景没有一个全面而深刻的认知,可能造成无法在特定的场景使用最优解的情况。这篇文章主要对各种梯度下降优化算法进行全面成体系的分析,帮助相关的算法开发人员在模型开发的过程中选取合适的优化器。所以整个内容会比较多,将要分成几个章节进行分析,以下是初步的章节情况,本章会介绍原创 2022-01-23 00:38:51 · 1675 阅读 · 0 评论 -
深度学习框架TensorFlow之系列(三)张量相关操作
文章目录一 背景二 TensorFlow的数据载体1 Tensor2 SparseTensor三 Tensor与Embedding表1 tf.nn.embedding_lookup1.1 算子介绍1.2 算子应用1.2.1 代码真香1.2.2 计算机制2 tf.nn.embedding_lookup_sparse2.1 算子介绍2.2 算子应用2.2.1 代码真香2.2.2 计算机制四 其他一 背景水无常形,人无常势,事事如棋,一世如梦!猛然发现,最近好久没对深度学习框架方面的专栏进行更新了,既然立了原创 2022-01-23 00:38:12 · 614 阅读 · 0 评论 -
梯度下降优化算法(一)
一 背景对于机器学习和深度学习较为熟悉的同学,应该大抵都听过这句话,机器学习=模型+策略+算法。其实笔者最开始学习的时候就基础过这个概念,但是这三个东西具体都是什么呢,也是经过一段时间才真正的领悟。模型:就是想要学习的函数、表达式或者是网络结构。策略:本质就是如何减少探索模型的推理值与实际值的Gap,包括训练数据、测试数据乃至未知数据。算法:本质就是通过优化算法减少上面介绍的推理值与实际值的Gap,通常是通过迭代式的渐进算法进行。梯度下降是优化神经网络和许多其他机器学习算法的首选方法,但是在原创 2021-11-07 17:42:46 · 1419 阅读 · 2 评论 -
深度学习之GPU
深度学习利器-GPU介绍1 深度学习之GPU近代史科技发展日新月异,摩尔定律从中显威,各种底层技术层出不穷,但是纵观科技发展史,几乎所有的新兴学科的发展背后都有一个字——“钱”!作为近年来最火热的行业——人工智能,在烧钱方面同样不遑多让。众所周知,人工智能的训练和推理都需要海量的高性能计算,做深度学习的朋友都知道,现今深度学习领域的SOTA模型往往需要巨大的显存空间,这直接导致了深度学习的研究者们需要配置更强劲的 GPU 设备,否则就会分分钟面临显存与算力不足的窘境。大型企业或者研究机构可以一掷千金部原创 2021-10-24 19:17:28 · 9467 阅读 · 2 评论 -
深度学习框架TensorFlow系列之(三)基础概念之框架载体之数据载体张量Tensor
文章目录1 前言2 框架数据载体:张量3 Dense数据载体:张量-Tensor2.1 定义2.2典型案例4 总结5 感悟1 前言大抵来说,从事机器算法框架工作的人员基本有两个比较大的流派。一种是算法派,一直以来都是从事算法方面的工作,算法的理论基础与算法调优经验非常充足,对于算法有较深的理解。另外一种是架构工程派,这类同学以前从事搜、广、推以及大数据等方面的工作,工程架构经验非常丰富,有自己的工程设计理念,对于计算性能有着极致的追求与探索。两种流派并无孰优孰略的问题,最终都会殊路同归,不过由于其研原创 2021-10-17 18:23:59 · 322 阅读 · 0 评论 -
深度框架Tensorflow系列之(二)OP开发
深度框架Tensorflow系列之(二)OP开发上篇文章《深度框架Tensorflow系列之(一)开发环境部署》已经介绍了Tensorflow的安装部署,接下来是时候深入理解下Tensorflow的相关的技术点了,不过在这之前笔者先写了一篇关于Tensorflow OP编写方面的文字给大家预预热,OP大家可以理解为算子,我们在写模型代码的时候使用的注入add等大家都可以理解为算子(或者理解为函数就好)。1 背景如果你想要创建一个在TensorFlow 库中不存在的操作,我们建议你先从 Pyt原创 2021-09-19 16:28:45 · 574 阅读 · 0 评论