编辑：深度学习技术前沿
作者：Evans
转载请注明来源！
作者：金瀛若愚
链接：https://www.zhihu.com/question/436874654/answer/1808192248
在科研中训练到的思维方式，是我最宝贵的成长。
一. 反馈的闭环
在一个研究任务中，我首先尝试了方法A，没搞定，于是改用方法B。组里大哥问：为什么改方法B。我说A没效果，或许B能work。大哥继续问：为什么A不work。我说或许A不适合这个问题？大哥说：当你有一个尝试，你一定要知道它为什么work以及为什么不work。每次不work了你就换另一个方法，那另一个方法就能work吗？这不是科研，是赌博，是瞎试。你只有知道为什么一个方法有效或不有效，何时有效何时无效，你才能增进对这个问题的理解，然后基于此提出有价值的策略。
我的思考是，既然做了一件事，就一定要得到反馈，要搞清楚哪里做得好哪里不好，这样这个尝试所投入的时间才是有效的。不然就是在碰运气，如同做题不对答案，如同训练模型不算loss不做backprop。
二. 把炼丹技术推广到生活中
机器学习的很多技术都与现实世界的概念相互呼应。
在深度学习里，模型掉入局部最优，就是生活中的内卷，就是在狭窄的赛道上追求极致。摆脱内卷就是跳出局部寻求全局最优的过程。破局之道是尝试新事物，或增加训练数据。
与人交流、观察和学习他人可以避免闭门造车。与他人交流就是深度学习里的增加训练数据。进入好的学校好的公司就是提高训练样本的质量：在label准确时，学得轻松。
前面讲的“构建闭环”，就是关注backprop时的梯度。你不能攒了特别多事情后再去反思或寻求反馈，这个反馈链太长，要么梯度消失，要么梯度爆炸，无法有效学习。类似对loss的求导过程：你必须清晰地看到因果链条，才能做到从结果倒推原
因，进而优化自己。
已经做得很好的事情没必要重复。此时应该挑战新的项目，保持自己在学习的状态。这就是hard data mining. 遇到坏人后就认为全人类没救了，是overfitting。对应在机器学习里，在unbalanced dataset上学习，要想到用weighted loss。
挫折易使人变得复杂、内心冲突多。如果能用简单的形态存在，我们或许应避免变得过分复杂。机器学习里，解决小问题硬上大模型是一种粗暴且没技术含量的办法。你以为模型练成了，其实它学的是shortcut，因此有泛化能力差的问题：variance大，不robust（内心不稳）。同时，模型太复杂就不容易理解，遇到bug不容易诊断病因（内心不易平稳和愉悦）。但避免复杂不是要当巨婴，不是抗拒成长。当训练数据足够大的时候，就必须要上大模型。核心是模型复杂度（心智复杂度）要与数据量（阅历）匹配，才是健康的。
三. 交流，交流，再交流
组里的女神姐姐教导我：“做research要多和人交流，多去听别人的paper reading，也把你读到的论文和想法讲给别人听。因为在讨论的过程里你会意识到未曾发现的问题。尝试给人讲明白的过程里，你的思路也会越发清晰。” 道理我都懂，每次我头点得像敲鼓一样，但也没坚持做到。
为什么做不到？大概是心理包袱，总想着搞出一个牛X闪闪的东西后再展示给别人，不然觉得丢脸。或者总有一种再试一下就能搞定的错觉。这种错觉和我炒股票的风格如出一辙。
直到后来我看到越来越多平淡无奇的项目都逆袭了，我理解到，事物的发展都有必然的过程，要尊重其发展规律，不要总想直接搞个大新闻。高效的科研要主动的寻求身边的资源，争取让良师益友把时间花在自己身上，如果自己不主动争取，再照顾你的人也不能像亲妈一样耳提面命，他们毕竟不好逼迫你。具体的，应该多把自己读懂的论文讲给别人，在你给他人创造价值的同时，你也使他们帮助你这件事更容易了：他们只有懂了你懂的，才能给你最有效的建议，你才能借用他们的头脑思考。
我发现当我积极主动之后，身边的人都默默支持起我来。稻盛和夫说：“心不唤物，物不至”。
四. 「焦虑动力」模型
勤奋上进、自我驱动、有行动力，本质是内心动力充沛的精神状态。动力不足时，我们懒惰、拖延、自控力差。用向量分解的思维模型，我们可以看清「动力」的本质。
动力的分量是 1.焦虑/压力 和 2.热情。动力是二者的合力
带着上面这句话，我们可以举出奋斗者的两种极端状况。一种由焦虑主导，被绩效和deadline催促，常处于不安和压力之中。希望获得他人的认可，如果有了过失，会感到煎熬；另一种是热情主导的。专注、投入，不易为外界干扰和诱惑所动。在做事的过程中，能收获成就感和喜悦，认为工作与个人追求比较重合。
警惕“动力”过分依赖“焦虑和压力”的状况。这个动力来源并不持久和可靠。随着年龄增加，体力和心力会下降，且随着阅历增加，阈值变高，很多事会不再觉得重要。那时就会失去动力。
分量之间存在代偿。盲人的耳朵往往很敏锐。如果动力过多依赖焦虑和压力，则留意到热情和乐趣就更难。可能并不是你不热爱，你只是太紧张了而已。
五. 独立思考
我对独立思考这件事体会最深的就是决定要不要读PhD时。拿到UW的录取后，因为微软组里就很多博士、教授，我自然就去请教他们问要不要读博，毕竟五年是一笔不小的投入。当时有一部分人说值得一读，另一些人说专心做事业可能有更大回报。
有趣的是，当我签下offer后，所有的人，不论之前给了什么建议，都由衷恭喜和认可我的决定，并和我畅想毕业后Dr. Jin走向人生(996)巅峰的画面。
那之前他们的建议是真心的吗？当然是真心的。签offer后的认可也是真心的。于是我理解到，很多事情，做与不做都能找出道理。他人给建议时，也会考虑到我们的情绪，让我们不论怎样选择都有台阶下。因此，我们要保持独立思考，要对自己的决定负全责。
建议的推导逻辑比结论重要。他人建议的正确用法是让自己看问题多个角度，减少信息差，而不是直接取其结论，让他人代为做选择。
六. 把工作当做一个二阶优化过程
不管title是算法工程师还是应用科学家，产出都是代码及其体现的知识产权。我们工作的过程就是优化这个代码及知识产权的过程。但这太basic。
我们不仅要优化产品，也要优化产出产品的过程：一阶优化，是优化代码质量。二阶的优化，是优化工作过程，这个工作过程是代码质量更上一层的原因，是原因的原因，是二阶导数。
类比一下：为了走得远，你可以优化速度（路程的原因是速度），更进一步你可以优化加速度（速度的原因是加速度）。不断向上溯源，能解决根本问题、通用问题。回到优化工作流程上，我们不断问自己：在我工作的过程中，有哪些是重复工作？有哪些可以更高效的完成？有哪些可以被拎出来整理出可以复用的，于是后面就不再需要花心思重做或者检查其bug？经过一两年我攒出了一套自己的代码库，很多被重复使用的部分（如用matplotlib画各种图，各种数据预处理）就都可以直接copy paste。这就形成了复利效应——时间越长，这些整理出来的代码片段就创造越高的价值。
七. 学习些销售意识
销售是一门大学问，值得广大猿类学习。
像设计产品外包装一样设计履历
一个畅销的产品必须有个特色，这个特色与其他竞品形成了差异化竞争，才能有自己的市场，卖上个好价格。比如始祖鸟这个牌子的衣服颜值很一般，但它的防水面料好，就拿下了户外市场。一个中庸的什么都不差也什么都不突出的产品就很难被你记住。同时，产品的优秀比不上品牌的优秀，如果产品的价值凝练成了品牌，那这个品牌本身就值高价。比如我们会为了logo付费。
我们的职业发展，说得现实些，也是希望自己在市场上有个好价格。为此，我们不需样样精通，但必须有一个具有代表性的，能拿得出手的技能。比如，我就是要和所有人不同，去学远古技术汇编语言。那只要市场出现了对这个技能的需求，你就能有极大的定价权。当我们深耕一个领域很久，又写了很多优质的博客，那你的名字就成为了品牌，可以帮助公司招贤纳士，等等。
我的老板兼导师也曾说：你做paper要想怎样把你的paper卖出去。你要站在消费者角度想，他们为什么要花时间去读你的文章？你的论文有没有创意，能给他们带来什么价值？写作语言，图表美观程度，就是卖相。这和销售很像。
我们的简历就是商品的成分表——在决定选择什么项目时，不妨想想这会在简历里留下一行什么样的记录，会不会帮你抬高自己的职业价值。
用产品思维规划项目
科研项目的立项过程和产品策划非常像。第一步都是要做survey，了解清楚目前技术有哪些分支，是什么历史契机促成了某个技术的出现（比如有了新的数据集），不同的技术优点缺点在哪（A更准确，B速度更快，C不需要很多训练数据，等等）。然后了解这个任务的定义，metric（关键指标）是什么，也就是搞清楚游戏规则，知道大家在比些什么，头部的玩家都是谁等等。不了解清楚，后面的一切都是错的。
导师们经常问我的一个问题就是“这个task的upper bound是什么”。我说我知道state-of-the-art是什么，还要知道upper bound吗？导师说你在开始一个尝试前，要知道还有多少空间留给你去做。如果SOTA（目前最好的）已经比较接近upper bound了，你就很难再往上去攻了，你可能找个别的任务更有成就感。你跳进一个赛道前，要对其它发展到了什么阶段有些概念。
八. 关于忙碌
在上面各种催人上进的内容之后，我再来分享一个故事来结尾。
一次公司的一位高层前辈见面，临走前我问他能不能给我个过来人的建议。
我以为他会给我讲一些勤奋工作的态度、人生规划的经验、或者给我打打鸡血这种内容。而前辈只是指了指办公室书架上的一排没拆封的乐高跟我说，我给你一个建议，就是年轻时多花点时间在自己的嗜好上。我年轻时喜欢乐高，但因为一直忙于工作，并没有花很多时间在我这个小小的嗜好上。现在我时间多了，但对乐高也不再有那种热情了，现在只把他们摆起来，包装都没拆。所以年轻的时候，你可以花点时间在自己的爱好上。不能只有忙碌的工作。很片面，欢迎指正。
作者：DLing
链接：https://www.zhihu.com/question/436874654/answer/1744174731
突飞猛进不敢当，但是从事深度学习图像算法这几年来，却是也有一些感慨。
数据放在第一位，成也数据，败也数据。深刻认识数据的重要性，把数据集维护好，数据量够了，再谈后面的模型优化，数据都不干净，用再好的模型，也不会出好的结果。
启动开发前，多问问自己有没有了解这个业务，目前定的方案还有没有盲点没有考虑到，毕竟启动开发需要准备各种数据集，耗时长且需要一定的人员和经济投入，如果开发过程中或者测试阶段发现方案不合适，这时候推倒重来的话，就DT了。
算法工程师并不只是调包侠，炼丹师，而是一个综合要求很高的岗位。要训的了模型；写的了逻辑；优化的了算法性能，时刻把运行速度，准确率，召回率，显存利用率，显存占用，cpu利用率，内存占用，并发路数等等记在心里；还得深刻了解业务，目前的方案合不合适？产品定的指标，给的需求有没有坑？完成这些需求，要选什么样的硬件最划算，可不可以少几个模型，毕竟看数据也很费眼；
多实验，多记录，多对比，勤讨论，勤汇报，勤迭代。这一行多少还是有点玄学的，很多问题没有很强的理论可以支撑，靠经验的地方很多，这个模型效果好，很多情况也不是推导出来的，而是实验出来的，有时候想破脑袋，也没有动手起几个模型效果来的快。平时多跟同事同行讨论讨论，搞不好费了你好几根头发的问题，就被别人解决过呢？
多看行业顶会论文，多追追大牛的博客，思路打开了，落地也就简单很多。
以上是我从事算法行业几年来的一点点体会，不是具体到看了某一篇论文，学了某一个框架，熟悉了某一个语言给自己带来的提升。但就我而言，这些对岗位认知的更新，做事套路的更新对自己的提升有时候要强于某一项具体的技术。今天把这些体会分享出来，希望能符合题主预期。
作者：吴海波
链接：https://www.zhihu.com/question/436874654/answer/1806138992
好久没有正经答题了，正好有些关于搜索推荐广告算法工程师成长切身经历，供大家参考；
用辩证唯物论的说法，对事物的认知过程是螺旋式上升的。
刚入行的时候，把业务提升的希望放在模型身上。对五花八门的模型特别感兴趣，花了很多时间和精力在上面，那个时候资料还没有这么多，吴恩达也有只有斯坦福版本的machine learning，学的比较辛苦。记得不知道在哪里看到的一篇网易同学写的LDA的前世今生，如获至宝；然而，世事总是不如意多，在尝试新模型上不断受挫，倒是打下了不少理论基础；
大概是第二年到第三年左右，走向了另一个极端。不知道是哪一天，我的产品经理属性重新占据了上风，开始尝试把自己当做一个普通用户，从用户视角去理解我们的推荐、搜索、广告策略怎么做，逐渐认知到特征工程的重要性；进入了一段疯狂的做特征工程的阶段，沉迷于各种细节设计上，效果也特别好，一波波的线上收益，觉得自己简直就是天才；
那时对各种大厂PR稿特别反感，由于入行的时间原因，圈子特别小，大家经常会交流交流最近做了什么，顺便吐槽下谁谁谁又吹牛B了。言语中充满了反智倾向，同时会觉得行业就是个大骗局，对未来隐隐有点担心；
可能是第四年吧，基于业务理解的特征工程做的七七八八了，新做的feature大概率都是和已有的线性相关，基本做不成效果了；组里也开始越来越卷，工作分的越来越系，由于特征工程并没有什么大的门槛，靠idea取胜，很多同学不愿意互相讨论好的idea，只能把大家分到不同的场景中去，才能维持基本的合作；
可能和我毕竟是物理系出身，对理论的向往始终在心底，开始重新去回溯以前学习过的各种模型策略，同时和更多的公司同学交流。只得一说的是，由于在杭州消息毕竟闭塞，我们专门去了趟北京，和大家的交流中重新review16年就看过的wide&deep的论文，再结合自己多年的feature engine的经验，一下子理解了现有模型中有很多在feature构建上效率和规模不足的问题，回去之后拿了很好的实践结果，在知乎上写了不少文章，认识了很多朋友，也是我知乎最高产的一年；
然而讽刺的是，在我们算法团队业绩最突出的时候，我们公司的业务却是停滞的、走下坡路的；肯定是哪里不对了，常常会问自己，我们的abtest效果这么好，我们的ctr、cvr持续提升，为何整体业务还是不好的。摆在我面前的问题变成了，要么离职，要么尝试去解决真正的问题，寻求破局；
我开始更系统的思考整个业务问题，思考用户价值、竞争环境、行业发展等；同时频繁找创始人团队、找公司业务核心骨干交流；运气还不错，公司在19年开始组织核心中层培训，基本覆盖了所有业务的核心一把手，在培训期间我们建立不错的友谊，获得很多更真实更一线的业务反馈，让我在业务认知上得到了明显的提升；也感谢我们创始人团队的open氛围，可以非常尖锐的探讨公司遇到的问题，可以站在非常高的角度去对业务做复盘。一高一低，经常有强烈的冲突感，慢慢形成了自己一套的认知。
19年到现在，非常幸运的成为了公司两次app大改版的项目PM，进入创新的深水区；第一次是尝试做主播社区，第二次是目前的直播切片化。如果说18年19年那个时候，更多的是在做思想实验，而在大改版项目中，是真正的实操了。
这两年非常的忙碌，由于脑子里不停的想事情，睡眠质量也明显下滑了。也越来越佩服那些创业者，接触了更多更大的世界，自己变的越来越humble，不管大小，只要是真正在尝试做一些事情的人，都非常值得尊敬；
在一家拥有10年历史的公司，推动变革时，10年的历史即代表着大量的积累，也代表这大量的包袱。除了要思考产品的定位、用户的动线、运营的抓手和节奏外，还要面对不同业务方O的冲突导致的各种障碍，痛并快乐着；
过程中逐渐意识到，算法从业者的工作方式，即在大量不确定性的环境中寻求解决方案的工作方式，和真实的业务场景非常像。而且，随着移动化持续加深，很多行业都发生了流量分发的控制力从运营、产品转移到了算法，而只有极少数的公司中的算法是有足够话语权去构建一个更算法友好的产品和业务结构的，比如被大家讲烂了的抖音全屏页设计，大大提高了算法数据集的正负反馈质量；快手的双列+关注对长尾和私域的帮助等；
责无旁贷的，我在公开场合对老板们说过一句话，我是行业中一流的从业者，要么你换掉我，要么你必须认真的听取代表新的技术力量的声音，才能用好这个力量；
我们要运营同学去真正解决后端货品供给问题，像创作者一样去思考用户的需求，去理解现实中的不确定性，而不是在app内互相抢资源，拿着badcase来argue。（bad case是非常重要的算法优化case，但不是吵架的抓手）
我们要产品的动线更集中，规模越是小的公司，越应该集中动线去发挥特殊用户心智的威力，而不是分散的到处都是，变的更弱；
我们要解决真正的增长问题，算法同学不是只看abtest，真正去思考策略有没有解决当前的业务问题，去建立那个更客观更真实的增长模型；
我们互相承诺，相互成就；
这部分工作不亚于第二次创业，我们有的只是我们心中认为的先进理念和相对弱小的资源，依旧面对着巨大的不确定性，老板们用公司最高奖项来认可我们的工作，但还没有真正在现实意义上获得成功，因此就不展开了。可能在未来几年，等尘埃落定，再把它写出来，但拥有这一段经历让我非常非常的开心！
以上，算是一个在这个伟大时代中苦苦追寻自身道路的从业者的微小经验总结；
作者：沈世钧
链接：https://www.zhihu.com/question/436874654/answer/1746629056
分享2个关于算法（包括算法工程师）的心得。
1.成就一个优秀算法工程师的，不仅是聪明和汗水，更还有那一瞬间的灵感。
一作算法的朋友，入行几年一直平庸无奇，然而就在某个下午，它在公司的走廊上遛弯的时候，就在一瞬间，它脑子中闪出一个精彩的点子，一下把公司的算法性能提高了几倍。
为此，公司奖了他一大笔钱。有了这笔钱，朋友原本准备在上海首付买房，结果直接全款，而且还是90多平米的大房子。
但其实，当其他的同时了解了朋友的灵感之后都感慨万千，因为实在是太“简单”了，不过是利用了gpu的某个硬件特性而已。
但是，就是这么个简单的东西，放在那里，别人就是没想到，最后被朋友捡了个漏，只能说大概那一刻，他被上帝的苹果砸中了头。
2.算法是一个残酷的竞技场。
做软件开发的都有体会，一个优秀的软件工程师相比于一个平庸的软件工程师，可能会有数倍的生产力优势。
但是，即使是一个平庸的软件工程师，管理得当，总能够有产出，然后薪水合理，总还是能够追求性价比的。
所以，这么多年来，我还没见过因为纯技术的因素被淘汰出这个行业的软件工程师。也就是说，只要肯吃苦，薪水合理，总能有口饭吃。
但算法工程师不一样。
杰出的算法工程师相比于无所作为的算法工程，可能是极大和0的差别。
和软件开发不同，相同功能的系统，很能进行量化的比较，但算法不一样，在标准的数据集上，可以得出一个精确的性能/精度结果。在此之上，就可以就行各种比赛以及排名。
所以经常会出现这种情况。
作为一名算法工程师，过去的1年你投入了巨大的精力在某个算法的改进上，结果感觉也进步不小，但很有可能在年末的比赛中被同行吊打。
我就见过朋友辛苦了一年，比赛结果出来，排名直接去年的前5跌出前10，这个时候人只能感慨：“不是我不努力，而是对手太强”。
但最让人感到痛苦的时候，当我们被对手吊打的时候，我们甚至猜不出对手到底使用什么“黑科技”，从而取得了如此突飞猛进的成果，也许就如上面所描述的，对方的某个算法工程师也被上帝的苹果砸中了脑袋。
所以，在关键指标上，公司对算法工程师的产出考核是极端苛刻的，要么是1，要么是0。你辛苦研究出的东西很可能一出生就是落后的，要被淘汰的东西。
所以，算法工程师的情绪常常要在谷底和巅峰之间飞跃，承受巨大的压力。
正是因为算法输出成果的可比较性，在其中的算法工程师往往会承受巨大的压力，这种压力比程序员更大。
程序员虽然很累，但好在程序员的工作需求往往是明确的，过程（搬砖）是可预期的，压力主要体现在工期上。而算法工程师的需求有时候是不明确的，即使是明确的，但过程却未知，需要去探索，有时候依赖于灵感。
过去的这些年，我从没见过因技术主动离队的程序员，但我却见过不止一个因为技术，承认自己被击败，而主动离队的算法工程师。
作者：武侠超人
链接：https://www.zhihu.com/question/436874654/answer/1742080106
作为一名算法工程师（或者叫策略工程师），最重要的概念是要认清一个现实，那就是一种不确定性：
“你做出来的东西并不一定会带来业务上预期的收益，很多时候是一顿操作猛如虎，回头一看原地杵”
（既然题目以"工程师"为后缀，那么我们默认是在以提升业务指标为目标的工业界，而不是在以发paper为目标的学术界）
从自己的经历来看，无论是之前做广告，还是现在做推荐，作为一名算法工程师，最大的特点就是这种黑盒特性，它并不是像其他的工程师那样，每次迭代只要顺利完成，都能达到一个确定的预期结果
在做算法工程师的道路上，掌握了这个概念，首先能让我们摆平心态，正确认识算法工程师这个职业的特点，这是算法的"道"
其次最重要的是能对我们工作产生很多指导性的建议，这是算法的"术"
在实际工作中，占用最多时间的往往是模型算法之前的业务调研及目标设定，以及模型算法之后的实验和数据分析，至于模型很多时候只是一种手段和工具
一名合格的算法工程师需要对数据有足够的敏感，需要对业务有深入的理解，需要掌握扎实的机器学习基础，需要紧跟前沿的深度学习技术，还需要很强的工程实践能力
模型效果的提升本身就是很难预料了，而模型效果和业务指标之间又存在了巨大的鸿沟，所以算法往往做着做着就变成了一门玄学
然而也正是这种不确定性才让算法本身变得更有魅力，才让算法工程师这个岗位变得更有挑战
作者：陀飞轮
链接：https://www.zhihu.com/question/436874654/answer/1858975729
不再过度推崇技术至上，思维转变为做出好产品
算法工程师的真相就是：
大部分时间跟数据做斗争
小部分时间跟上下游沟通
极小部分时间使用一套稳定的调参方案来迭代模型
很现实，你看到的牛逼哄哄的算法通常都不会去使用，因为上手成本和部署的原因。
客户使用你们公司的算法方案或者产品，是因为你们用了什么高大上的算法吗，不是，
算法是什么不重要，重要的是效果和体验。
1997年苹果濒临倒闭，而如今苹果是第一科技股。贝尔实验室曾是"诺奖的摇篮"，但如今已不复存在。再牛逼有前景的算法创新，处在不属于你的时代，也会被淘汰被抛弃。
而我们使用一个产品，最重要的原因是舒服。
微软推出的surface，一体式支架在合上的瞬间会有一个声音反馈，视频聊天时会帮你矫正视线，给予更好的人机交互体验。
一加的生态系统，追求简洁，满足了喜欢极简不喜欢广告的用户需求。
苹果推出的智能设备，绝大多数黑科技都是已有的技术，但是苹果更懂用户的需求，不断的改进产品的体验，征服了一拨又一拨的用户。
不知道我这个算不算进步，可能是退步了？
虽然知道了算法工程师的真面目，但这不妨碍我仍然喜欢各种算法的创新，喜欢看各种天马行空的idea，这是一大乐趣啊。
欢迎添加微信，邀请您加入大佬云集-AI算法交流群！
???? 长按识别添加，邀请您进群！
280
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
