机器学习
文章平均质量分 96
龙心尘
资深深度学习研发工程师,多年深度学习自然语言处理、推荐算法经验,ERNIE系列项目开发者之一,知名AI类公众号深度学习专栏主编。专注于算法研发与优化,负责过基于海量数据的文本相似度、长句预测、文本审核、评论观点抽取、个性化推荐、智能营销、智能画像等项目。欢迎联系和交流。
展开
-
应用算法串讲1:计算复杂度优化与组合优化
现在算法的种类已经非常多了,为了避免混淆,本文尝试串讲一下各个算法在思想上的区别与联系。这其实是前文《算法工程师大概是做什么的?》的进阶版。首先还是框架图镇楼。最优化的一些简化约定最优化是一种非常简单直观的分析思路,本身就从最优化的视角去串讲各个算法。一般来说,最优化是指:在有限的约束条件的下控制一些自变量使得目标(因变量)达到最大值(或最小值)的问题。所以它有以下3个核心概念:目标(因变量): F(x)自变量(控制条件):x约束:g(x) = 0目标优化函数极大程度决定了算法种类。一般*原创 2021-02-25 08:21:16 · 1097 阅读 · 0 评论 -
算法工程师大致是做什么的
作者: 龙心尘时间:2021年1月出处:https://blog.csdn.net/longxinchen_ml/article/details/113074403其实这是一个不太好解释的问题,因为并没有一个完整的定义。笔者在算法领域这些年遇到了不少做算法的同行,发现各自的差别还是很大的,工作侧重点甚至思维方式都不同。为了给刚入门的朋友介绍得清晰一些,这里就简单串一串我遇到的不同的算法。算法与非算法的区别一般来说,可以把编程工作分为两种,一种是面向实现的,一种是面向优化的。前者如实现一个功能、搭建原创 2021-01-25 22:37:39 · 34335 阅读 · 15 评论 -
深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
那我们咋选用神经元/激励函数呢?一般说来,用的最多的依旧是ReLU,但是我们确实得小心设定学习率,同时在训练过程中,还得时不时看看神经元此时的状态(是否还『活着』)。当然,如果你非常担心神经元训练过程中挂掉,你可以试试Leaky ReLU和Maxout。额,少用sigmoid老古董吧,有兴趣倒是可以试试tanh,不过话说回来,通常状况下,它的效果不如ReLU/Maxout。原创 2016-01-02 13:56:47 · 14838 阅读 · 0 评论 -
深度学习与计算机视觉系列(5)_反向传播与它的直观理解
一般直观上理解反向传播算法就是求导的一个链式法则而已。但是偏偏理解这部分和其中的细节对于神经网络的设计和调整优化又是有用的,所以硬着头皮写写吧。原创 2015-12-16 08:31:15 · 19409 阅读 · 3 评论 -
深度学习与计算机视觉系列(4)_最优化与随机梯度下降
在取到合适的参数W的情况下,我们根据原始像素计算得到的预测结果和实际结果吻合度非常高,这时候损失函数得到的值就很小。这节我们就讲讲,怎么得到这个合适的参数W,使得损失函数取值最小化。也就是最优化的过程。原创 2015-12-04 19:40:33 · 18297 阅读 · 0 评论 -
深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
这个部分我们介绍一类新的分类器方法,而对其的改进和启发也能帮助我们自然而然地过渡到深度学习中的卷积神经网。有两个重要的概念:得分函数/score function:将原始数据映射到每个类的打分的函数损失函数/loss function:用于量化模型预测结果和实际结果之间吻合度的函数在我们得到损失函数之后,我们就将问题转化成为一个最优化的问题,目标是得到让我们的损失函数取值最小的一组参数。原创 2015-11-23 22:16:56 · 5369 阅读 · 1 评论 -
深度学习与计算机视觉系列(2)_图像分类与KNN
图像识别看似很直接。但实际上包含很多挑战,我们人类可是经过数亿年的进化才获得如此精准的视觉理解力的。图像识别可能有下面这样一些困难:视角不同,每个事物旋转或者侧视最后的构图都完全不同尺寸大小不统一,相同内容的图片也可大可小变形,正所谓『千姿万态』,但都可能是一个东西光影等干扰/幻象背景干扰同类内的差异(比如椅子有靠椅/吧椅/餐椅/躺椅…)原创 2015-11-21 11:59:21 · 4819 阅读 · 1 评论 -
深度学习与计算机视觉系列(1)_基础介绍
计算机视觉/computer vision是一个火了N年的topic。持续化升温的原因也非常简单:在搜索/影像内容理解/医学应用/地图识别等等领域应用太多,大家都有一个愿景『让计算机能够像人一样去”看”一张图片,甚至”读懂”一张图片』。原创 2015-11-21 11:56:38 · 7141 阅读 · 1 评论 -
计算广告小窥[下]要啥自行车!
一是总结自己已掌握的知识,二是降低同学们的学习成本。本人能力有限,更缺乏实践经验,文章内容多为书籍和论文的读后感,若有不当或者错误之处,还望各位同学指出,我定悉心求教。在此,向编写《计算广告》的刘鹏和王超两位老师致谢,向各位paper作者致谢。原创 2016-08-26 22:58:18 · 5658 阅读 · 3 评论 -
从FM推演各深度CTR预估模型(附代码)
作者: 龙心尘 && 寒小阳 时间:2018年7月声明:版权所有,转载请联系作者并注明出处。本文代码部分参考了lambda等同学的tensorflow实现,在此向原作者表示感谢。注:本文根据作者在公司内训讲稿整理而成。多年以后,当资深算法专家们看着无缝对接用户需求的广告收入节节攀升时,他们可能会想起自己之前痛苦推导FM与深度学习公式的某个夜晚……——题记原创 2018-07-13 15:04:34 · 9711 阅读 · 5 评论 -
NLP系列(6)_从NLP反作弊技术看马蜂窝注水事件
按:本文基于网易云课堂公开课分享内容整理补充完成。感谢志愿者july同学的贡献。10月21日,朋友圈被一篇名为《估值175亿的旅游独角兽,是一座僵尸和水军构成的鬼城?》的文章刷屏。文章作者小声比比指控在线旅游网站马蜂窝存在点评大量造假的情况,包括从其他网站如大众点评、携程等抓取相关点评,及通过水军撰写虚拟点评。文章吸引了包括本人在内的大量吃瓜群众的眼球。毕竟一家估值175亿的互联网公司被这么多...原创 2018-11-18 21:50:10 · 1466 阅读 · 2 评论 -
图解Transformer(完整版)
审校:百度NLP、龙心尘翻译:张驰、毅航、Conrad原作者:Jay Alammar原链接:https://jalammar.github.io/illustrated-transformer/编者按:前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果,引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型...原创 2019-01-17 23:45:25 · 397916 阅读 · 123 评论 -
用可视化解构BERT,我们从上亿参数中提取出了6种直观模式
作者: 龙心尘时间:2019年1月出处:https://blog.csdn.net/longxinchen_ml/article/details/89036531大数据文摘联合百度NLP出品审校:百度NLP、龙心尘编译:Andy,张驰来源:towardsdatascience.comhttps://blog.csdn.net/longxinchen_ml/article/detail...原创 2019-04-04 22:51:19 · 1885 阅读 · 0 评论 -
深入理解BERT Transformer ,不仅仅是注意力机制
作者: 龙心尘时间:2019年3月出处:https://blog.csdn.net/longxinchen_ml/article/details/89058309大数据文摘与百度NLP联合出品作者:Damien Sileo审校:百度NLP、龙心尘编译:张驰、毅航为什么BERT模型这么重要BERT是google最近提出的一个自然语言处理模型,它在许多任务检测上表现非常好。如:问答、自...原创 2019-04-06 17:47:51 · 3802 阅读 · 1 评论 -
图解Word2vec
作者: 龙心尘时间:2019年4月出处:https://blog.csdn.net/longxinchen_ml/article/details/89077048审校:龙心尘作者:Jay Alammar编译:张秋玥、毅航、高延嵌入(embedding)是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译,甚至智能手机键...原创 2019-04-08 08:58:57 · 9703 阅读 · 4 评论 -
深度学习与计算机视觉系列(7)_神经网络数据预处理,正则化与损失函数
上一节我们讲完了各种激励函数的优缺点和选择,以及网络的大小以及正则化对神经网络的影响。这一节我们讲一讲输入数据以及损失函数设定的一些事情。原创 2016-01-03 16:52:14 · 15475 阅读 · 2 评论 -
深度学习与计算机视觉系列(8)_神经网络训练与注意点
在前一节当中我们讨论了神经网络静态的部分:包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分,主要是训练的事情,集中在实际工程实践训练过程中要注意的一些点,如何找到最合适的参数。原创 2016-01-15 10:11:01 · 5357 阅读 · 0 评论 -
深度学习与计算机视觉系列(9)_串一串神经网络之动手实现小例子
前面8小节,算从神经网络的结构、简单原理、数据准备与处理、神经元选择、损失函数选择等方面把神经网络过了一遍。这个部分我们打算把知识点串一串,动手实现一个简单的2维平面神经网络分类器,去分割平面上的不同类别样本点。为了循序渐进,我们打算先实现一个简单的线性分类器,然后再拓展到非线性的2层神经网络。我们可以看到简单的实现,能够有分隔程度远高于线性分类器的效果。原创 2016-01-15 10:12:39 · 5613 阅读 · 4 评论 -
机器学习系列(4)_机器学习算法一览,应用建议与解决思路
先走马观花看了一遍机器学习的算法,然后给出了对应scikit-learn的『秘密武器』机器学习算法使用图谱,紧接着从了解数据(可视化)、选择机器学习算法、定位过/欠拟合及解决方法、大量极的数据可视化和损失函数优缺点与选择等方面介绍了实际机器学习问题中的一些思路和方法。本文和文章机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾都提及了一些处理实际机器学习问题的思路和方法,有相似和互补之处,欢迎大家参照着看。原创 2016-01-06 19:40:57 · 15943 阅读 · 4 评论 -
机器学习系列(5)_从白富美相亲看特征选择与预处理(上)
本文中主要讲了一些特征有效性分析的方法,包括用互信息,平均互信息,条件熵,后验概率,逻辑回归权重等方法对特征与标签的相关性进行了评估。有了这些评估做基础,可以筛选出显著的特征,并对对不显著的特征进行分析、拆分和重组,最终形成新的特征并反复迭代。本文略过了一些特征预处理的方法,并对特征有效性评估的阐述不够充分,我们将在接下来的文章中予以讨论。原创 2016-01-06 21:00:52 · 20341 阅读 · 19 评论 -
手把手入门神经网络系列(2)_74行代码实现手写数字识别
“机器学习”是一个很实践的过程。就像刚开始学游泳,你在只在岸上比划一堆规定动作还不如先跳到水里熟悉水性学习来得快。以我们学习“机器学习”的经验来看,很多高大上的概念刚开始不懂也没关系,先写个东西来跑跑,有个感觉了之后再学习那些概念和理论就快多了。如果别人已经做好了轮子,直接拿过来用则更快。因此,本文直接用Michael Nielsen先生的代码。原创 2015-12-13 10:17:29 · 30650 阅读 · 10 评论 -
手把手入门神经网络系列(1)_从初等数学的角度初探神经网络
为了解释这个问题,我们呈现了神经网络在分类问题上优于逻辑回归的地方——它几乎可以实现任意复杂的分类边界,无误差地实现训练集上的分类。然而,这是有代价的:由于其强大的拟合能力,极容易产生过拟合。为了降低过拟合,我们介绍了一种降低过拟合的思路。在这个过程中,我们尽量解释神经网络每一步操作对应的现实意义和最终目的。可是,神经网络的可解释性往往是个非常大的难题。为此,我们采用了最易于理解的“交集”、“并集”神经网络。原创 2015-11-28 11:57:38 · 22579 阅读 · 13 评论 -
机器学习系列(2)_用初等数学解读逻辑回归
为了降低理解难度,本文试图用最基础的高中数学来解释逻辑回归,尽量少用或者不用公式,多用图形来直观解释推导公式的现实意义,希望使读者能够对逻辑回归有更直观的理解。原创 2015-10-20 22:15:33 · 13388 阅读 · 18 评论 -
机器学习系列(6)_从白富美相亲看特征预处理与选择(下)
本文讲了一下特征预处理的完整流程,接下来用贝叶斯方法筛选特征,并进行判断。最后探讨了一下数据与算法的关系和机器学习的局限性。原创 2016-01-10 21:19:42 · 26785 阅读 · 11 评论 -
NLP系列(3)_用朴素贝叶斯进行文本分类(下)
上一篇文章我们主要从理论上梳理了朴素贝叶斯方法进行文本分类的基本思路。这篇文章我们主要从实践上探讨一些应用过程中的tricks,并进一步分析贝叶斯方法,最后以情绪褒贬分析和拼写纠错为例展示这种简单强大的方法在自然语言处理问题上的具体应用。原创 2016-02-03 14:57:53 · 16379 阅读 · 2 评论 -
机器学习系列(8)_读《Nature》论文,看AlphaGo养成
博主是围棋小白,下棋规则都记不清楚,也没有设计过棋类AI程序。这篇文章主要是阅读《Nature》论文及关于AlphaGo的相关文章的学习心得。本文的主要目的是增进分享,交流学习,方便初学者了解AlphaGo中的算法,以及一些机器学习中的常见思路。真正的工程实现过程远比本文介绍得复杂。本文更多是启发式地进行阐述与分析,包括一些作者结合自己的理解进行的简化处理。原创 2016-03-16 11:23:45 · 31809 阅读 · 12 评论 -
NLP系列(4)_朴素贝叶斯实战与进阶
前两篇博文介绍了朴素贝叶斯这个名字读着"萌蠢"但实际上简单直接高效的方法,我们也介绍了一下贝叶斯方法的一些细节。按照老规矩,『锄头』给你了,得负责教教怎么用和注意事项,也顺便带大家去除除草对吧。恩,此节作为更贴近实际应用的部分,将介绍贝叶斯方法的优缺点、常见适用场景和可优化点,然后找点实际场景撸点例子练练手,看看工具怎么用。原创 2016-02-03 15:10:21 · 20835 阅读 · 4 评论 -
机器学习系列(7)_机器学习路线图(附资料)
1. 引言也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而言点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩,这些功能的核心算法就是机器学习领域的内容。机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。而原创 2016-02-28 11:55:21 · 46333 阅读 · 25 评论 -
能模仿韩寒小四写作的神奇循环神经网络
作者:寒小阳 && 龙心尘 时间:2016年4月 出处: http://blog.csdn.net/han_xiaoyang/article/details/51253274 http://blog.csdn.net/longxinchen_ml/article/details/51253526 声明:版权所有,转载请联系作者并注明出处 特别鸣谢:北京大学焦剑博士对R...原创 2016-04-26 20:07:41 · 35736 阅读 · 2 评论 -
机器学习系列(9)_机器学习算法一览(附Python和R代码)
写这篇文章的目的,就是希望它可以让有志于从事数据科学和机器学习的诸位在学习算法的路上少走些路。我会在文章中举例一些机器学习的问题,你们也可以在思考解决这些问题的过程中得到启发。我也会写下对于各种机器学习算法的一些个人理解,并且提供R和Python的执行代码。读完这篇文章,读者们至少可以行动起来亲手试试写一个机器学习的程序。原创 2016-04-19 16:58:36 · 28584 阅读 · 5 评论 -
深度学习与计算机视觉系列(10)_细说卷积神经网络
我们来说说卷积神经网络的特殊之处,首先卷积神经网络一般假定输入就是图片数据,也正是因为输入是图片数据,我们可以利用它的像素结构特性,去做一些假设来简化神经网络的训练复杂度(减少训练参数个数)。原创 2016-01-19 22:31:26 · 8629 阅读 · 6 评论 -
机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾
Kaggle上的大神们,也分享过一些experience,说几条我记得的哈:『对数据的认识太重要了!』『数据中的特殊点/离群点的分析和处理太重要了!』『特征工程(feature engineering)太重要了!在很多Kaggle的场景下,甚至比model本身还要重要』『要做模型融合(model ensemble)啊啊啊!』原创 2015-11-12 13:52:08 · 13862 阅读 · 25 评论