Garvin的专栏

另外，同一个prompt生成多个输出序列，可以共享计算过程中的attention键值，实现copy-on-write机制，即只有需要修改的时候才会复制，从而大大降低显存占用。随着大模型被越来越多的应用到不同的领域，随之而来的问题是应用过程中的推理优化问题，针对LLM推理性能优化有一些新的方向，最近一直在学习和研究，今天简单总结下学习笔记。首先LLM推理的过程是一个自回归的过程，也就是说前i次的token会作为第i+1次的预测数据送入模型，拿到第i+1次的推理token。

综述因为我个人最近在从事可能是AI领域对性能挑战最大的方向，自动驾驶领域，所以对整个深度学习训练的优化尤为关注，最近一直在学习相关内容，谨以此篇文章做一个总结。我一直很看好深度学习训练优化这个方向,因为从大的环境上来看，似乎大模型会成为未来的一个趋势,目前以Google、OpenAI、阿里等厂商为代表的一系列头部的AI研究机构，已经把模型尺寸做到十万亿参数级别，明年应该可以达到百万亿参数，总体呈指数倍增长态势。而核心计算芯片的性能，却无法保证指数倍增长。(上图因为制作时间较久,具体数字可能存

大家谁在不查资料的情况下知道FSM是什么英文单词的全称？FSM在国外是非常火的一个领域，但是在国内能查到的资料极其有限。FSM全称是Field Service Management，可以翻译成外勤工作管理，这类工作包含设备维修、工厂的生产制造、商品运输等，基本都跟产业相关。AI赋能FSM，也就是AI在产业的赋能。AI 在FSM市场的发挥空间AI在FSM领域有极大的发挥空间，体现在很多调查报告的数字上。比如45%的一线技术操作人员认为FSW需要效率提升，52%的FSM行业公司还在沿用纯人力的模式去

最近端侧的AI模型应用越来越广泛，在端侧的模型应用会面对很多的问题，比如模型适配性和机型适配性，还有计算性能方面的问题。是否有某种框架可以解决这些端侧AI模型遇到的问题，Google、苹果等公司都有相关的工作。今天介绍下MNN框架，由阿里巴巴开源的一款专注于端侧深度学习模型预测框架。项目开源地址：https://github.com/alibaba/MNNMNN核心解决的问题首先看下MNN的核心功能架构图：MNN主要解决了三方面的问题： Model compatibility.

背景超分（Super-Resolution），本文简称为SR，指的是通过深度学习模型让低分辨率的图像变成高分辨率。超分这个概念其实由来已久，今天主要介绍下端侧超分，重点讲的是手机端的超分。主要是参考了《MobiSR: Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors》这篇文章。超分模型的理论基础，这件事为什么能做其实很关键。CNN模型如下图可以构建出一套数学模型，使得在以PSNR、SSIM等指标作

随着国家对数据安全、数据隐私的要求越来越严格，可信计算越来越受到重视，也会是未来技术发展的重点方向之一。对于这个大众相对比较陌生的领域其实有很多相关的技术，比如TEE、MPC、同态加密等，网上的资料也比较杂，今天分别给大家做下介绍，另外也讲下联邦学习与这些可信计算技术的关系。3大可信计算技术可信计算指的是通过技术手段保证数据安全性的计算方式。按照不同的技术路线可以分为3种：1.TEE（Trusted Execution Environment）：基于硬件的可信执行环境计算 2.MPC（M.

背景介绍最近看了很多MLflow相关的内容，做一个简单的分享。MLFlow是一款管理机器学习工作流程的工具，核心由以下4个模块组成： MLflow Tracking：如何通过API的形式管理实验的参数、代码、结果，并且通过UI的形式做对比。 MLflow Projects：代码打包的一套方案 MLflow Models：一套模型部署的方案 MLflow Model Registry：一套管理模型和注册模型的方案 今天重点讲讲MLflow Tracking，也就是如

过完年又到春招了，作为应届进入大厂的产品经理答一波，最近几年每年也会负责应届生的面试。从学历、实习经历、能力这三方面聊一聊。1.学历基本上大厂的产品经理应届生的学历都是相对出色的，底线应该是普通211学校，上限就上不封顶了，PHD或者清北的都有。专业的话一般ToC的产品对于专业没有太大的要求，ToC更看重行业经历和能力。但是ToB的话因为要做客户服务，一般会要求是对口专业，比如计算机、通信、工业设计等。学位的角度，我自己的感觉，从招聘者看，我肯定希望要在学校沉淀久一些的同学，比如硕士和博士，因为

候选人欢迎投递我的邮箱：594167264@qq.com团队介绍计算平台是阿里巴巴集团数据平台的基础技术设施，提供一站式数据采集、加工、分析、挖掘的平台服务，及完善的配套数据开发、数据管理工具，支持离线分布式计算、在线流计算、图计算、实时多维分析、机器学习、深度学习等多种业界领先的计算服务。对外支撑阿里云全套大数据服务，对内作为集团统一的数据仓库支撑阿里巴巴集团、蚂蚁金服、菜鸟的数据集市，是业界排名top的大数据服务平台。为了帮助客户更加高效地使用大数据产品，发挥数据价值，现招募AI产品经理，欢

根据Gartner的报告，今天91%的数据是在中心化的数据存储中心做计算。但是，截止到2022年，全世界74%的数据将在端侧进行分析和计算。有一种误解是边缘计算会取代云计算，相反，边缘+云计算的结合会是未来的主趋势，边缘计算甚至会进一步带动云计算的发展。把规模的数据计算一定是在云端处理，而与直接数据产生者相关的部分计算会被分配到端。接下来就具体分析下端侧计算的一些优势：1.数据隐私性个性化推荐等业务越来越被普遍应用到广大APP中，其本质是对用户行为数据的收集，并在云端进行统一分析。这种.

2020年是特殊的一年，得益于这次疫情，在2月份有一个大长假，当时被封锁在东北老家的小出租屋内，于是就起笔开始写这本书，其实也是在心理早就有构思的，差不多用了十来天的时间完成了第一版。名字想了好久，最终选定叫《B端产品经理修炼手册》。这本书跟我的第一本书区别挺大的，第一本《机器学习实践应用》是站在工程师的角度思考如何将算法应用于业务中去。这本新书，其实是站在市场的角度，讲的是如何以市场的视角去构建一个AI产品。这本书的内容的本质来源于这8年，我在做AI相关的创业以及AI平台产品经理过程中的思考，商业模式、产

我个人是个汽车迷，每天都会看大量汽车相关的信息，最近蔚来发布了ET7这款车，看宣传是有机会实现L4自动驾驶，有不了解自动驾驶技术的同学可以看下以下信息：除了传统的依靠视觉模型做自动驾驶的实现以外，本次蔚来ET7也搭载了Aquila超感系统。也就是说ET7是包含了：视觉自动驾驶技术+雷达波自动驾驶技术。接下来分别聊下ET7在这两方面技术的一些功能点。视觉自动驾驶技术ET7搭载了4颗NVDIA Drive Orin芯片以及800万像素的摄像头，这两个硬件设备是视觉自动驾驶技术实现的根..

今年过得很快，转眼又到了年终总结的时候了。今年是我写科技类文章的第8个年头，很有意思的是，之前在学生时代做过的很多能挣钱的创业项目都没坚持下来，写文章这件事却坚持下来了。虽然现在我的文章可能没法像以前那样登上CSDN首页，或者说入围知乎圆桌会议，再或者在微信号有几千的点击。但是每周记录下学习的内容，已经是我生活里的仅存的一份仪式感。2020年我感觉自己改变很大，主要体现在思想上。仿佛现在自己已经有点被社会磨平了棱角，当年还是个想改变世界的少年，现在每天看看股票、车什么的，已经过上了中年大叔的油腻生活。打

最近一年图神经网络网络的概念很火，也有很多相关的工作诞生。今天重点介绍下AutoGL，也就是Auto Graph Learn方面的基础概念。首先还是说下图计算和之前传统的非图类结构化数据计算的区别。Graph建模的特点以推荐系统为例，传统的结构化数据，其实比较好的描述的场景是user对item的单点关系，比如user A买了一个item B，那么可以把A和B的特征通过表的形式展示出来：A_f1 A_f2 B_f1 B_f2 label -- -- --

今天试了试pycaret这个机器学习库，感觉简直是个建模宝藏啊，从数据预处理、特征工程、建模、自动优化、模型部署，所有功能基本全部覆盖。它的原理大概就是封装了Sklearn，XGBoost，LightGBM，Spacy，Shap，PyOD，Gensim，WordCloud等工具，几乎包括机器学习所有的使用场景和方法（不含深度学习）。异常检测Anomaly Detection，关联规则Association Rules，分类Classification，回归Regression，聚类Clustering，自然

在机器学习的流程大体可以分成模型训练和模型服务两个阶段。无论是训练和服务阶段，其实都需要进行特征工程相关的工作，这块的技术挑战就是如何保证训练和预测过程中使用的特征是一致的。这个问题困扰了很多机器学习从业者，比较典型的场景就是推荐场景。在推荐业务中往往要用离线数据做特征工程然后输入到算法中训练生成推荐模型，在实际业务侧也需要按照同样的特征样本拼接方式生成预测样本，输入给模型做实时预测并拿到推荐结果。今天要介绍的Feast其实是一个特征管理工具，他通过一套封装好的sdk保证了Model Serving和M

看了最近的re-Invent大会，会上AWS像以往一样发布了很多新的东东，今年的发布与往年发布有一个很大的不同点，往年更多地发布一些产品，今年发布的内容更多是“解决方案+产品”的结合体。我个人一个非常深的感触就是，当国内厂商还在发布牛逼技术的时候，AWS已经开始发力行业解决方案类产品了。“市场很公平，一定会选择真正尊重它的玩家。”回过头来看今年发布的几款产品，仔细想想其背后的技术，感觉没有特别出人意料的，但是这几款产品充分暴露AWS在AI方面的思考，场景为王，深入行业，接下来一一介绍一下。Dev

在推荐业务中经常有“既要、也要、还要”的场景，比如做视频推荐业务的时候既要提升用户对于视频的点击率，也希望同时提升用户观看视频的时长。面对这样的诉求，通常需要在推荐系统中使用多目标建模算法。多目标建模目前业内有两种模式，一种叫Shared-Bottom模式，另一种叫MOE，MOE又包含MMOE和OMOE两种。MMOE也是Google提出的一套多目标学习算法结果，被应用到了Google的内部推荐系统中，接下来分别介绍下这些多目标算法的结构。算法结构介绍上图基本能把Shared-Bottom、O

最近联邦机器学习越来越火，字节也正式对外宣讲开源了联邦机器学习平台Fedlearner。这次头条开源的Fedlearner与我之前分析过得华为、微众的联邦机器学习平台有什么不同呢？主要体现在以下几个方面： 产品化：Fedlearner的代码里有大量的js、Html模块，也是第一次让我们可以直观的看到联邦机器学习平台大概是什么样的，如果做成产品需要长成什么样。 业务多样化：之前华为、微众更多地强调联邦机器学习在风控业务的落地。头条开始强调联邦学习在推荐、广告等业务中的落地，并且给了很明确的数据

网红伴随着现在各种自媒体、直播平台的兴起已经越来越多的开始影响我们的生活。网红经济同时也成为一种新的商家品牌曝光的平台，像我平时也会买李子柒螺蛳粉这样的网红带货产品。但是网红究竟是如何影响粉丝的呢？最近看到一篇论文，通过AI技术详细介绍了网红是怎么对粉丝的消费品牌意识产生影响的。这篇论文叫做<The effects of visual congruence on increasing consumers’ brand engagement: An empirical investigation of

NCF在推荐领域应用背景CF，也就是协同过滤，在推荐领域有极其广泛的应用，应该没有谁的智能推荐系统是没用到过CF的。CF其实就是挖掘user和item的交互关系，然后生成I2I或者U2I表示向量。传统的CF从数学角度上还是偏行为统计计算的，没有用到很复杂的网络。因为深度学习很火，也是有一些关于Neural Collaborative Filtering的工作。今天介绍一下最近看的叫《Neural Collaborative Filtering》这篇论文。也有一个对应的开源项目，地址：https://

背景数据描述胆固醇、高血脂、高血压是压在广大中年男性头上的三座大山，如何有效的监控他们，做到早发现、早预防、早治疗尤为关键，趁着这个假期我就利用TF2.0构建了一套时序预测模型，一来是可以帮我预发疾病，二来也可以体验下TF2.0的特性。先来看下数据结构： date表示的是测量日期 cholesterol代表胆固醇数值 blood_fat代表血脂 blood_pressure代表血压 整个的建模思路就是将这三个数值一起构建时序模型，因为这三个指标不能独.

最近1个多月内出现了一个可能对后续人工智能行业有着深远影响的事件，现在这件事件还没有发酵起来，是因为联邦学习还没有真正步入企业生产行列。这个事件就是IEEE批准了国际首个联邦机器学习框架标准。《IEEE Approved Draft Guide for Architectural Framework and Application of Federated Machine Learning》这个标准的介绍文档大家可以在这里去买：https://www.techstreet.com/ieee/stan

背景概述最近湖仓一体化的概念在大数据圈子突然蹿红，知乎上很多大神已经分析了湖仓一体化主要的革新点，今天主要介绍下湖仓一体化对机器学习业务的影响。还是简单讲下“湖”和“仓”的区别。湖有点像一个开放的储物空间，可以存放结构化数据、非结构化数据、半结构化数据，存储成本很低，很灵活。仓更像是一个有无数小格子的储物间，所有数据需要按照要求放到小格子里。湖的优势是很灵活，什么样的数据直接扔进去就好了，但是如果想查某个结构化数据，甚至做ETL工作，就会效果很差，因为所有数据都是随机摆放的。仓的优.

背景概述今天看了一篇论文我觉得挺有意思，一方面是讲的股票预测相关，另一方面是把深度学习和知识图谱相结合解决一个问题。通常知识图谱和深度学习很少有交集，一般是独立发展的两个人工智能领域解决问题的手段，两者如何一起解决问题呢？这个也引发了我的好奇心，因为一直对知识图谱这个领域念念不忘，在《机器学习实践应用》最后一章还要特意加入知识图谱的内容。论文的名字叫：<Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Co

背景概述今天介绍下如何将时序数据处理成监督学习可用的训练样本。比较典型的场景是黄金的原始数据，一般黄金走势数据是由两个字段组成，分别是时间字段和价格字段。走势图如下：顺便安利一个黄金数据的下载网址：https://fred.stlouisfed.org/series/GOLDAMGBD228NLBM数据滑动窗口原理那这种时序数据如何转换成包含特征和目标列的监督学习训练样本呢？今天介绍一个叫“数据滑动窗口”的方法。在数据滑动窗口这个方法中，把当前日期叫做t，前一天是t-1，后一

作为一个多年的微信公众号作者，了解微信公众号文章打分的机制是十分有必要的。微信在后台其实有一整套的打分机制，今天基于腾讯的这篇Paper《Cognitive Representation Learning of Self-Media Online Ariticle Quality》为大家介绍下文章质量打分背后的算法理论。在这篇paper中其实重点分享了两个方面，一方面是文章质量分的深度学习模型设计方法，另一方面是训练数据的构造法。1 文章质量分模型架构设计方法整个模型的设计分为两层，第一层是

最近在学习实时机器学习或者说增量学习相关的内容，目前中文资料相关的介绍非常少，今天借着creme这个库介绍下Online Learning的原理，以及Online Learning和Batch Learning的一些区别。1 Online Learning和Batch Learning的区别Batch就是目前常用的计算模式，需要离线数据，离线训练，离线评估，然后上线。离线的好处就是比较稳定，可以用大的数据量去训练和评估，如果模型效果不好也方便替换。OnlineLearning更多地是一个实时

背景今天介绍下SimCLR，也是Hinton老爷子在今年提出的工作。首先介绍下为什么下一代神经网络需要无监督对比学习。目前整个人工智能行业的落地，其实都依赖于监督学习模式，无论是OCR、ASR、TTS、ImageDetection，如果没有大量的标注，是很难训练出商业化程度的模型的。这个模式需要被打破，因为世界上存在太多的未知场景，完全依赖人肉标注是不行的。所以未来无监督学习大势所趋。其实在这方面之前已经有了一些工作，比如Bert模型，就可以基于大量的unlabeled数据训练，然后在小...

GPT-3一诞生就成了业内议论的焦点，因为这个模型大概是目前人类历史上最大且最贵的机器学习模型。究竟有多大呢，这个模型有1750亿余个参数，虽然OpenAI没有开源这个pre-train的模型，但是可以预估模型体积在700G左右。这是什么概念，就是假设OpenAI把这个模型放出来开放下载，也很少有机构有能力让这个模型serving起来。那这个模型有多贵呢，训练它用了3640petaflops-day，相当于每秒钟做千万亿次浮点运算，计算了3640天。约等于500个A100卡算1个月，实际消耗的计算资

背景信用是一切社会金融体系的根本，有了每个人的信用我们才可以进行放贷、共享充电宝、共享单车等业务。如果可以准确的给每个社会成员的信用做一个打分，将对金融业务的推进有很大作用，很多相关业务的企业也在探索如何实现信用分。目前业内最通用的方案是评分卡算法，这个算法底层其实就是简单地二分类模型，将逻辑回归或者xgboost进行封装。但是为什么不能直接使用xgboost甚至深度学习算法做信用评估呢？因为金融业务有自己的特殊性，要求模型需要有强解释性，所以评分卡解决方案经常包含分箱和评分两个模块。就是.

今天分享的是一个有关LTR框架的介绍，LTR是Learning-To-Rank，解决的是排序问题。排序问题在人工智能领域应用很广，比如在Gmail里搜索一个关键词，返回最匹配的邮件。再比如进入Google Drive后的一些文章推荐。傲海的分享主要参考Google2019年发布的一篇论文《TF-Ranking：Scalable TensorFlow Library for Learning-to-Rank》，蛮长的，看了小一周才学习完。这个库已经开源了，大家可以在下方地址访问并使用：https://

AutoML是我一直很关注的领域，也实际设计过相关的很多功能，但是目前AutoML在商业化层面落地的还不多。一个关键因素是AutoML现在在Feature生成或者调参方面有一些应用，但是这些应用更多地是建模的辅助。目前的AutoML技术很难实现从0构建一个算法。如果AutoML希望大规模的应用，一定要在NAS，也就是网络探索上有建树。这也是Google最新发表的这篇文章的原因，他提出AutoML-Zero，从零起步去构建算法。接下来作者会给大家分享下一些看法。定义算法生成的流程这篇论文比较有意思的一

背景深度学习模型如何服务化是一个机器学习领域工程方面的热点，现在业内一个比较主流的做法是将模型和模型的服务环境做成docker image。这样做的一个好处是屏蔽了模型对环境的依赖，因为深度学习模型在服务的时候可能对各种框架版本和依赖库有要求，解决运行环境问题一直是个令人头痛的事情。将模型通过docker服务化后意味着深度学习模型可以在各种环境使用，比如云端直接通过k8s调度拉起，或者在一些IOT领域，比方说一些智能摄像头也可以通过拉起镜像服务的方式使用模型。看来一些网上的资料，发现大.

1背景概述在机器学习领域有很多学习模式，比方说监督学习、半监督学习、强化学习、无监督学习等。平时大家接触比较多的一般都是监督学习，在监督学习里面，比方说要做个人和鱼的图像分类模型，假设有200张图片，那就需要把这200张样本都打好标记再训练。监督学习存在很多问题，比如最直接的一点，当样本打标成本很高的时候，比如要标记一个人脸，可能需要在图片上打上百个点，用监督学习很消耗资源。主动学习（Active Learning）很好地解决了这个问题，主动学习的本质是让训练样本的利用率最大化，今天就来介.

算法工程师往往在使用算法的过程中要不断地调整参数去找到最好的效果，俗称“调参民工”。在不断的调参过程中，会产生各种各样的模型，如何记录好这些参数与模型效果对应的关系，往往另算法工程师很头疼。所以大家都在呼唤一款实用的模型管理工具，因为有了版本管理机制才能更好的做效果比对，甚至多人协同开发。今天就介绍一款开源的模型管理工具-DVC：https://dvc.org/doc/tutorials/get-started/experiments1模型版本控制的误区在设计模型版本管理功能的时候有一个误区，.

背景我们最近跟支付宝合作做了一款应用，挺有意思的分享给大家。这个产品好玩的一点就是把ToB产品赋予了ToC的属性，任何没有算法背景的同学，只要做简单的标记就可以生成一个图像相关的模型，拿支付宝扫下二维码就可以体验效果。不信拿出你的支付宝扫下这个二维码打开应用，然后在应用中扫下下面这个图你会发现图像模型自动的识别出了名为BANGO的小吃，并且在画面中框了出来，像下图这样，是不是很好玩。自己动手搞一个制作这样的一个模型只需要10分钟，最近公测免费，并且不需要任何算法背景.

最近英伟达发布了最新GPU-A100，当我们先后经历了K系列、M系列、P系列、V系列之后，这一次的A系列发布又会带来哪些影响，未来行业的走势如何，新入行的同学究竟选择哪个领域入门比较合适。今天我将从3个方向为大家一一剖析， 计算力变强了，会给行业带来什么影响 计算力变便宜了，会给行业带来什么影响 英伟达的野心在哪里，对行业有什么影响 1 计算力变强的影响这次新的GPU在算力方面变强的幅度是比较夸张的，根据官方数据显示，在Bert模型的场景下，训练和预测都有大幅度的提升。

在西方一些国家，运筹学是非常热门的一个领域，很多公司都会保留大量的运筹学专家。但是在国内，运筹学理论除了在考研中有一些声音，在企业的业务中的应用还不算多，特别是相比于算法工程师的数量，运筹学专业的从业者相对较少，后续随着工业数字化的提升，运筹学一定会成为热点业务交叉度运筹学研究的问题可以归纳为：“依照给定条件和目标，从众多方案中选择最佳方案。”所以也有人称之为最优化技术。机器学习研究的问题是如何从历史的经验数据，通过数据建模的方式生成经验模型。从业务角度来看，运筹学和机器学习有很大的交.

之前在业务中应用了许多Faiss，也看了几篇关于Faiss的论文，简单记录下Faiss的一些属性和应用。Faiss是Facebook的AI团队开源的一套用于做聚类或者相似性搜索的软件库，底层是用C++实现。Faiss因为超级优越的性能，被广泛应用于推荐相关的业务当中。接下来分Faiss在推荐业务应用和Faiss的基本原理两部分进行介绍。1Faiss在推荐业务中的应用在我的认知里，基本上5...