- 博客(50)
- 收藏
- 关注
RSS订阅原创 应用算法串讲1：计算复杂度优化与组合优化
现在算法的种类已经非常多了，为了避免混淆，本文尝试串讲一下各个算法在思想上的区别与联系。这其实是前文《算法工程师大概是做什么的？》的进阶版。首先还是框架图镇楼。最优化的一些简化约定最优化是一种非常简单直观的分析思路，本身就从最优化的视角去串讲各个算法。一般来说，最优化是指：在有限的约束条件的下控制一些自变量使得目标（因变量）达到最大值（或最小值）的问题。所以它有以下3个核心概念：目标（因变量）： F(x)自变量（控制条件）：x约束：g(x) = 0目标优化函数极大程度决定了算法种类。一般*
2021-02-25 08:21:16
1187
原创 算法工程师大致是做什么的
作者： 龙心尘时间：2021年1月出处：https://blog.csdn.net/longxinchen_ml/article/details/113074403其实这是一个不太好解释的问题，因为并没有一个完整的定义。笔者在算法领域这些年遇到了不少做算法的同行，发现各自的差别还是很大的，工作侧重点甚至思维方式都不同。为了给刚入门的朋友介绍得清晰一些，这里就简单串一串我遇到的不同的算法。算法与非算法的区别一般来说，可以把编程工作分为两种，一种是面向实现的，一种是面向优化的。前者如实现一个功能、搭建
2021-01-25 22:37:39
35592
15
原创 【视频】超越BERT的最强中文NLP预训练模型艾尼ERNIE官方揭秘
分章节视频链接：http://abcxueyuan.cloud.baidu.com/#/course_detail?id=15076&courseId=15076完整视频链接：http://play.itdks.com/watch/8591895艾尼（ERNIE）是目前NLP领域的最强中文预训练模型。百度资深研发工程师龙老师，通过直播带开发者走近最强中文NLP预训练模型ERNI...
2019-10-18 09:04:19
2135
原创 【视频】技术分享：PaddleNLP工业级开源工具集介绍与核心技术剖析(百度AI开发者大会)
PaddleNLP是飞桨开源的产业级NLP工具与预训练模型集，提供了依托于百度实际产品打磨，通过百亿级大数据训练的预训练模型，能够极大地方便 NLP 研究者和工程师快速应用。使用者可以用PaddleNLP 快速实现文本分类、词法分析、相似度计算、语言模型、文本生成、阅读理解和问答、对话系统以及语义表示8大类任务，并且可以直接使用百度开源工业级预训练模型进行快速应用。用户在极大地减少研究和开发成本...
2019-10-08 20:19:54
1121
原创 图解Word2vec
作者： 龙心尘时间：2019年4月出处：https://blog.csdn.net/longxinchen_ml/article/details/89077048审校：龙心尘作者：Jay Alammar编译：张秋玥、毅航、高延嵌入（embedding）是机器学习中最迷人的想法之一。 如果你曾经使用Siri、Google Assistant、Alexa、Google翻译，甚至智能手机键...
2019-04-08 08:58:57
9834
4
原创 深入理解BERT Transformer ，不仅仅是注意力机制
作者： 龙心尘时间：2019年3月出处：https://blog.csdn.net/longxinchen_ml/article/details/89058309大数据文摘与百度NLP联合出品作者：Damien Sileo审校：百度NLP、龙心尘编译：张驰、毅航为什么BERT模型这么重要BERT是google最近提出的一个自然语言处理模型，它在许多任务检测上表现非常好。如：问答、自...
2019-04-06 17:47:51
3878
1
原创 用可视化解构BERT，我们从上亿参数中提取出了6种直观模式
作者： 龙心尘时间：2019年1月出处：https://blog.csdn.net/longxinchen_ml/article/details/89036531大数据文摘联合百度NLP出品审校：百度NLP、龙心尘编译：Andy，张驰来源：towardsdatascience.comhttps://blog.csdn.net/longxinchen_ml/article/detail...
2019-04-04 22:51:19
1961
原创 NLP系列(6)_从NLP反作弊技术看马蜂窝注水事件
按：本文基于网易云课堂公开课分享内容整理补充完成。感谢志愿者july同学的贡献。10月21日，朋友圈被一篇名为《估值175亿的旅游独角兽，是一座僵尸和水军构成的鬼城？》的文章刷屏。文章作者小声比比指控在线旅游网站马蜂窝存在点评大量造假的情况，包括从其他网站如大众点评、携程等抓取相关点评，及通过水军撰写虚拟点评。文章吸引了包括本人在内的大量吃瓜群众的眼球。毕竟一家估值175亿的互联网公司被这么多...
2018-11-18 21:50:10
1555
2
原创 从FM推演各深度CTR预估模型(附代码)
作者： 龙心尘 && 寒小阳 时间：2018年7月声明：版权所有，转载请联系作者并注明出处。本文代码部分参考了lambda等同学的tensorflow实现，在此向原作者表示感谢。注：本文根据作者在公司内训讲稿整理而成。多年以后，当资深算法专家们看着无缝对接用户需求的广告收入节节攀升时，他们可能会想起自己之前痛苦推导FM与深度学习公式的某个夜晚……——题记
2018-07-13 15:04:34
9896
5
原创 计算广告小窥[下]要啥自行车！
一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。
2016-08-26 22:58:18
5899
3
原创 深度学习与自然语言处理(8)_斯坦福cs224d RNN，MV-RNN与RNTN
这篇课堂笔记将介绍不同类型的RNN（递归神经网络），并介绍它在NLP领域的应用和优势。
2016-07-30 22:22:29
7885
3
原创 深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表
2016-07-18 10:50:02
10175
3
原创 深度学习与自然语言处理(6)_斯坦福cs224d 一起来学Tensorflow part1
Tensorflow是Google提供资金研发的，比较全，支持分布式，同时有Google这样的亲爹在，我猜资源倾斜也是迟早的事情。今天的重点自然是Tensorflow，其他的框架也都很好，大家可以自行尝试。
2016-07-10 15:21:04
15341
原创 深度学习与自然语言处理(5)_斯坦福cs224d 大作业测验2与解答
原本打算把作业和答案做个编排，一起发出来给大家看，无奈代码量有点大，贴上来以后文章篇幅过长，于是乎题目的代码解答放到了百度云盘，欢迎自行下载和运行或者调整。
2016-07-03 18:50:13
18830
原创 深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答
前面一个接一个的Lecture，看得老衲自己也是一脸懵逼，不过你以为你做一个安安静静的美男子(总感觉有勇气做deep learning的女生也是一条汉纸)就能在Stanford这样的学校顺利毕业啦？图样图森破，除掉极高的内容学习梯度，这种顶尖大学的作业和考试一样会让你突(tong)飞(bu)猛(yu)进(sheng)。
2016-06-27 00:44:09
25140
6
原创 深度学习与自然语言处理(3)_斯坦福cs224d Lecture 3
这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用， 接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门。
2016-06-19 09:32:00
16226
1
原创 斯坦福cs224d（深度学习在自然语言处理上的应用）Lecture 2
这个课堂笔记我们将会对词向量（也就是词嵌入）的内部任务评价和外部任务评价方法进行讨论。主要的内容是单词类比(word analogies)技术,我们会把它当做内部任务评价的技术并展示其相关示例，它会在词向量的调谐（tune）中发挥重要作用。我们还会讨论如何训练模型的权重／参数，并关注用来进行外部任务评价的词向量。最后，我们会简单地介绍人工神经网络，它在自然语言处理中表现极好。
2016-06-12 19:33:42
17099
3
原创 斯坦福大学CS224d基础1：线性代数知识
本文为斯坦福CS229的内容，也是CS224d课程的背景数学知识。概括了在机器学习和深度学习中用到的大部分线性代数知识。为了便于大家查漏补缺，这里根据英文版本整理了一个中文版本。
2016-06-10 23:46:54
25740
3
原创 深度学习与自然语言处理(1)_斯坦福cs224d Lecture 1
本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表
2016-06-02 16:13:14
34988
5
原创 能模仿韩寒小四写作的神奇循环神经网络
作者：寒小阳 && 龙心尘 时间：2016年4月 出处： http://blog.csdn.net/han_xiaoyang/article/details/51253274 http://blog.csdn.net/longxinchen_ml/article/details/51253526 声明：版权所有，转载请联系作者并注明出处 特别鸣谢：北京大学焦剑博士对R...
2016-04-26 20:07:41
35869
2
原创 机器学习系列(9)_机器学习算法一览（附Python和R代码）
写这篇文章的目的，就是希望它可以让有志于从事数据科学和机器学习的诸位在学习算法的路上少走些路。我会在文章中举例一些机器学习的问题，你们也可以在思考解决这些问题的过程中得到启发。我也会写下对于各种机器学习算法的一些个人理解，并且提供R和Python的执行代码。读完这篇文章，读者们至少可以行动起来亲手试试写一个机器学习的程序。
2016-04-19 16:58:36
28662
5
原创 深度学习与计算机视觉(11)_基于deep learning的快速图像检索系统
本系统是基于CVPR2015的论文《Deep Learning of Binary Hash Codes for Fast Image Retrieval》实现的海量数据下的基于内容图片检索系统，250w图片下，对于给定图片，检索top 1000相似时间约为1s，其基本背景和原理会在下文提到。
2016-03-16 11:34:06
11159
5
原创 机器学习系列(8)_读《Nature》论文，看AlphaGo养成
博主是围棋小白，下棋规则都记不清楚，也没有设计过棋类AI程序。这篇文章主要是阅读《Nature》论文及关于AlphaGo的相关文章的学习心得。本文的主要目的是增进分享，交流学习，方便初学者了解AlphaGo中的算法，以及一些机器学习中的常见思路。真正的工程实现过程远比本文介绍得复杂。本文更多是启发式地进行阐述与分析，包括一些作者结合自己的理解进行的简化处理。
2016-03-16 11:23:45
32065
12
原创 机器学习系列(7)_机器学习路线图(附资料)
1. 引言也许你和这个叫『机器学习』的家伙一点也不熟，但是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也自然而言点开今日头条推给你的新闻；也习惯逛淘宝点了找相似之后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能的核心算法就是机器学习领域的内容。机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身。而
2016-02-28 11:55:21
46821
25
原创 ML学习分享系列(2)_计算广告小窥[中]
提笔写这篇博客，我的内心是惶恐的。原因很简单，作为一个资历尚浅的研究生，是没有资格对计算广告这样一个伟大的行业、领域和学科来评头论足的。之所以这么做，一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。
2016-02-19 12:25:26
14367
2
原创 “ML学分计划”说明书
计划的由来我们是一群对机器学习感兴趣的小伙伴，对于神奇的机器学习经常有“一探究竟”的冲动，却因为孤身一人学习的寂寞、亦或繁忙考试工作之余的小小拖延症，而没有持续这份对知识的渴求和热情。由于深感类似情况的小伙伴之多，我们希望建立一个“ML学分计划”——机器学习的学习和分享计划——来帮助我们一起更高效地学习、更集中地整理分享我们的知识和经验。因为我们也深信”证明自己真的透彻理解一个知识，最好的方法，
2016-02-16 12:29:45
5715
6
原创 NLP系列(5)_从朴素贝叶斯到N-gram语言模型
我们在之前文章《NLP系列(2)_用朴素贝叶斯进行文本分类(上)》探讨过，朴素贝叶斯的局限性来源于其条件独立假设，它将文本看成是词袋子模型，不考虑词语之间的顺序信息，就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢？有，就是本节要接到的N-gram语言模型。
2016-02-09 11:35:12
25409
2
原创 NLP系列(2)_用朴素贝叶斯进行文本分类(上)
贝叶斯方法非常强大，有着坚实的理论基础。很多高级自然语言处理模型也可以从它演化而来。因此，学习贝叶斯方法，是研究自然语言处理问题的一个非常好的切入口。 贝叶斯公式贝叶斯公式就一行：P(Y|X)=P(X|Y)P(Y)P(X)P(Y|X)
2016-02-03 15:16:31
44236
17
原创 NLP系列(4)_朴素贝叶斯实战与进阶
前两篇博文介绍了朴素贝叶斯这个名字读着"萌蠢"但实际上简单直接高效的方法，我们也介绍了一下贝叶斯方法的一些细节。按照老规矩，『锄头』给你了，得负责教教怎么用和注意事项，也顺便带大家去除除草对吧。恩，此节作为更贴近实际应用的部分，将介绍贝叶斯方法的优缺点、常见适用场景和可优化点，然后找点实际场景撸点例子练练手，看看工具怎么用。
2016-02-03 15:10:21
20964
4
原创 NLP系列(3)_用朴素贝叶斯进行文本分类(下)
上一篇文章我们主要从理论上梳理了朴素贝叶斯方法进行文本分类的基本思路。这篇文章我们主要从实践上探讨一些应用过程中的tricks，并进一步分析贝叶斯方法，最后以情绪褒贬分析和拼写纠错为例展示这种简单强大的方法在自然语言处理问题上的具体应用。
2016-02-03 14:57:53
16503
2
原创 ML学习分享系列(1)_计算广告小窥[上]
回顾计算广告的发展历史，纵使错综复杂，但究其根本，便是广告主、媒体与用户之间相互博弈之后达到的平衡状态。在传统广告踏入互联网大门之后，在利益最大化的驱动下，媒体通过受众定向技术引领广告进入合约广告时代；在精细化投放的使命与在线分配的矛盾下，媒体选择竞价方式将计算广告推入了发展的快车道；在广告主个性化投放的要求下，实时竞价映入眼帘，并衍生出更多的广告活动参与者；在移动互联大潮下，用户体验被尊为一切产品的出发点
2016-01-25 15:39:44
13351
5
原创 深度学习与计算机视觉系列(10)_细说卷积神经网络
我们来说说卷积神经网络的特殊之处，首先卷积神经网络一般假定输入就是图片数据，也正是因为输入是图片数据，我们可以利用它的像素结构特性，去做一些假设来简化神经网络的训练复杂度(减少训练参数个数)。
2016-01-19 22:31:26
8704
6
原创 NLP系列(1)_从破译外星人文字浅谈自然语言处理基础
本文主要是讲了一些自然语言处理的浅层内容。知识点比较零碎，可见业务场景之繁杂。我们希望从机器学习算法的角度去观察这些业务场景，以便有个清晰的认识。文本处理的一些基础内容，如正则表达式、分词断句等是自然语言预处理过程中的常用手段。编辑距离是衡量两个字符串相似性的尺度。
2016-01-19 16:30:11
10941
10
原创 深度学习与计算机视觉系列(9)_串一串神经网络之动手实现小例子
前面8小节，算从神经网络的结构、简单原理、数据准备与处理、神经元选择、损失函数选择等方面把神经网络过了一遍。这个部分我们打算把知识点串一串，动手实现一个简单的2维平面神经网络分类器，去分割平面上的不同类别样本点。为了循序渐进，我们打算先实现一个简单的线性分类器，然后再拓展到非线性的2层神经网络。我们可以看到简单的实现，能够有分隔程度远高于线性分类器的效果。
2016-01-15 10:12:39
5645
4
原创 深度学习与计算机视觉系列(8)_神经网络训练与注意点
在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。
2016-01-15 10:11:01
5427
原创 机器学习系列(6)_从白富美相亲看特征预处理与选择（下）
本文讲了一下特征预处理的完整流程，接下来用贝叶斯方法筛选特征，并进行判断。最后探讨了一下数据与算法的关系和机器学习的局限性。
2016-01-10 21:19:42
26821
11
原创 机器学习系列(5)_从白富美相亲看特征选择与预处理（上）
本文中主要讲了一些特征有效性分析的方法，包括用互信息，平均互信息，条件熵，后验概率，逻辑回归权重等方法对特征与标签的相关性进行了评估。有了这些评估做基础，可以筛选出显著的特征，并对对不显著的特征进行分析、拆分和重组，最终形成新的特征并反复迭代。本文略过了一些特征预处理的方法，并对特征有效性评估的阐述不够充分，我们将在接下来的文章中予以讨论。
2016-01-06 21:00:52
20449
19
原创 机器学习系列(4)_机器学习算法一览，应用建议与解决思路
先走马观花看了一遍机器学习的算法，然后给出了对应scikit-learn的『秘密武器』机器学习算法使用图谱，紧接着从了解数据(可视化)、选择机器学习算法、定位过/欠拟合及解决方法、大量极的数据可视化和损失函数优缺点与选择等方面介绍了实际机器学习问题中的一些思路和方法。本文和文章机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾都提及了一些处理实际机器学习问题的思路和方法，有相似和互补之处，欢迎大家参照着看。
2016-01-06 19:40:57
16036
4
原创 深度学习与计算机视觉系列(7)_神经网络数据预处理，正则化与损失函数
上一节我们讲完了各种激励函数的优缺点和选择，以及网络的大小以及正则化对神经网络的影响。这一节我们讲一讲输入数据以及损失函数设定的一些事情。
2016-01-03 16:52:14
15538
2
原创 深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
那我们咋选用神经元/激励函数呢？一般说来，用的最多的依旧是ReLU，但是我们确实得小心设定学习率，同时在训练过程中，还得时不时看看神经元此时的状态(是否还『活着』)。当然，如果你非常担心神经元训练过程中挂掉，你可以试试Leaky ReLU和Maxout。额，少用sigmoid老古董吧，有兴趣倒是可以试试tanh，不过话说回来，通常状况下，它的效果不如ReLU/Maxout。
2016-01-02 13:56:47
14937
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人