![](https://img-blog.csdnimg.cn/20210801112550190.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI人工智能算法落地与实践
文章平均质量分 83
关注AI人工智能、机器学习、深度学习、安全、大数据、云计算、存储、计费、网络 、数据中心等技术的前沿动态,独家解密国内外一线互联网在AI领域的落地与实践!
优惠券已抵扣
余额抵扣
还需支付
¥99.90
¥299.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
AI算法攻城狮
互联网算法工程师,拥有扎实的理论基础和丰富的算法落地实践经验
展开
-
Facebook推荐算法
https://code.fb.com/core-data/recommending-items-to-more-than-a-billion-people/Recommending items to more than a billion people网络上数据的增长使得在完整数据集上使用许多机器学习算法变得更加困难。特别是对于个性化问题,数据采样通常不是一种选择,因此有必要创新分布式算...原创 2018-08-13 19:57:57 · 6883 阅读 · 0 评论 -
浅谈推荐系统
由推荐系统带来的推荐服务基本上已经渗透到我们生活的方方面面,本文作为浅谈推荐系统的基础篇,主要从下面几个维度介绍推荐系统的相关知识: 什么是推荐系统 推荐系统在商业中的地位 推荐系统、搜索引擎及广告的关系 推荐系统的关键元素 推荐系统相关的算法 篇幅较长,可能大部分道友比较关心算法部分,所以重点罗列了推荐系统算法思维演进史,每类算法理论点到即止,没...原创 2019-11-19 21:10:53 · 3305 阅读 · 2 评论 -
淘宝、抖音、美团头条推荐系统的基础架构
如果说阿里技术架构最亮眼的部分是中台,那字节全系产品的最强竞争力,毫无疑问,一定是推荐系统。刚打开抖音,喜欢的内容已经在播放了;刚打开淘宝,想买的商品都展示在眼前了。字节、阿里的推荐系统,本质上和谷歌、百度的搜索引擎“师出同门”,所涉及的层面非常多,更重要的是,其架构设计思想很值得研究。原创 2019-12-09 19:10:59 · 2761 阅读 · 0 评论 -
过去50年最重要的统计学思想!
近日,图灵奖得主、“贝叶斯网络之父”Judea Pearl在Twitter上分享了一篇新论文“What are the most important statistical ideas of the past 50 years?”(过去50年中最重要的统计思想是什么?)这篇论文由哥伦比亚大学统计学教授Andrew Gelman和阿尔托大学计算机科学系副教授Aki Vehtari所著,他们根据自己的研究和文献阅读经验总结出了过去半个世纪以来最重要的8个统计思想,并表示:“它们是独立的概念,涵盖了统..原创 2021-01-24 18:53:38 · 554 阅读 · 0 评论 -
滴滴反作弊
网约车黑产市场规模超过10亿元。在巨大利益诱惑下,少数不法分子会恶意制作、经营、传播各类作弊器工具,“帮助”司机作弊、绕过平台安全审核或让低口碑值的司机接“好单”,或利用恶意木马、短信劫持等技术手段去盗取用户打车账号甚至个人信息,从事“刷单”诈骗。原创 2024-04-07 16:53:04 · 192 阅读 · 0 评论 -
EM算法详解
EM(Expectation-Maximum)算法也称期望最大化算法,曾入选“数据挖掘十大算法”中,可见EM算法在机器学习、数据挖掘中的影响力。EM算法是最常见的隐变量估计方法,在机器学习中有极为广泛的用途,例如常被用来学习高斯混合模型(Gaussian mixture model,简称GMM)的参数;隐式马尔科夫算法(HMM)、LDA主题模型的变分推断等等原创 2024-03-11 11:07:01 · 80 阅读 · 0 评论 -
Simhash在内容去重中的应用
相比计算余弦相似度,simhash算法可以快速计算文本的哈希值,而且能够在哈希值之间计算汉明距离,从而衡量文本的相似度。simhash算法的优点是它能够快速处理大量文本,并且可以识别并过滤掉文本中的噪声和重复内容。原创 2024-02-29 10:59:49 · 78 阅读 · 0 评论 -
FP-Growth算法全解析:理论基础与实战指导
FP-Growth(Frequent Pattern Growth,频繁模式增长)算法是一种用于数据挖掘中频繁项集发现的有效方法。它是由Jian Pei,Jiawei Han和Runying Mao在2000年的论文中首次提出的。该算法主要应用于事务数据分析、关联规则挖掘以及数据挖掘领域的其他相关应用。原创 2024-02-27 16:04:03 · 381 阅读 · 0 评论 -
【深度好文】simhash文本去重流程
SimHash本身属于一种局部敏感hash,其主要思想是降维,将高维的特征向量映射成低维的特征向量,再通过比较两个特征向量的汉明距离(Hamming Distance)来确定文章之间的相似性。一般海明距离为3就代表两篇文章相同。原创 2024-02-27 12:02:16 · 120 阅读 · 0 评论 -
minHash(最小哈希)和LSH(局部敏感哈希)
在数据挖掘中,有一个比较基本的问题,就是比较两个集合的相似度。关于这个问题,最笨的方法就是用一个两重循环来遍历这两个集合中的所有元素,进而统计这两个集合中相同元素的个数。但是,当这两个集合里的元素数量非常庞大时,同时又有很多个集合需要判断两两之间的相似度时,这种方法就呵呵了,对内存和时间的消耗都非常大。因此,为了解决这个问题,数据挖掘中有另一个方法。原创 2024-02-26 17:17:48 · 274 阅读 · 0 评论 -
社区发现之标签传播算法(LPA)
在 LPA 算法中,节点的标签完全由它的直接邻居决定。这是一个迭代的计算过程且不保证收敛,大体的思路就是每个人都看看自己的邻居都在什么社区内,看看频率最高的社区是啥,如果和自己当前的社区不一样,就把这个最高频社区当成是自己的社区,然后告诉邻居,周而复始,直到对于所有人,邻居们告诉自己的高频社区和自己当前的社区是一样的,算法结束。当二分图左边都是a,右边都是b时,a社区的节点此时邻居节点都是b,b社区的节点此时邻居节点都是a,根据更新规则,此时a社区的节点将全部更新为b,b社区的节点将全部更新为a。原创 2024-02-23 19:12:47 · 249 阅读 · 0 评论 -
AI人工智能算法解析&落地实践专栏列表
移动腾讯网 | 推荐系统 embedding 技术实践总结:https://blog.csdn.net/jxq0816/article/details/106383903。广告算法在阿里文娱用户增长中的实践:https://blog.csdn.net/jxq0816/article/details/104791433。腾讯信息流内容理解技术实践:https://blog.csdn.net/jxq0816/article/details/103507870。人工智能、机器学习、深度学习三者之间有什么关系吗?原创 2022-12-19 15:57:45 · 660 阅读 · 0 评论 -
基于用户的协同过滤算法(二):用户相似度计算的改进
用户相似度计算的改进上一节介绍了计算用户兴趣相似度的最简单的公式(余弦相似度公式),但这个公式过于粗糙,本节将讨论如何改进该公式来提高UserCF的推荐性能。首先,以图书为例,如果两个用户都曾经买过《新华字典》,这丝毫不能说明他们兴趣相似,因为绝大多数中国人小时候都买过《新华字典》。但如果两个用户都买过《数据挖掘导论》,那可以认为他们的兴趣比较相似,因为只有研究数据挖掘的人才会买这本书。换句话说,两个用户对冷门物品采取过同样的行为更能说明他们兴趣的相似度。因此,John S. Breese在论.原创 2022-05-28 16:46:48 · 1146 阅读 · 2 评论 -
基于用户的协同过滤算法(一):余弦相似度
基于用户的协同过滤算法是推荐系统中最古老的算法。可以不夸张地说,这个算法的诞生标志了推荐系统的诞生。该算法在1992年被提出,并应用于邮件过滤系统,1994年被GroupLens用于新闻过滤。在此之后直到2000年,该算法都是推荐系统领域最著名的算法。本节将对该算法进行详细介绍,首先介绍最基础的算法,然后在此基础上提出不同的改进方法,并通过真实的数据集进行评测。原创 2022-05-15 18:49:42 · 1873 阅读 · 0 评论 -
音乐推荐是推荐系统里非常特殊的领域
个性化推荐的成功应用需要两个条件。第一是存在信息过载,因为如果用户可以很容易地从所有物品中找到喜欢的物品,就不需要个性化推荐了。第二是用户大部分时候没有特别明确的需求,因为用户如果有明确的需求,可以直接通过搜索引擎找到感兴趣的物品。在这两个条件下,个性化网络电台无疑是最合适的个性化推荐产品。首先,音乐很多,用户不可能听完所有的音乐再决定自己喜欢听什么,而且每年新的歌曲在以很快的速度增加,因此用户无疑面临着信息过载的问题。其次,人们听音乐时,一般都是把音乐作为一种背景乐来听,很少有人必须听原创 2022-04-30 16:44:55 · 1660 阅读 · 0 评论 -
深度解析推荐系统的算法原理
推荐系统基于海量的物品数据的挖掘,通常由 召回层→排序层(粗排、精排、重排)组成,不同的层次的组成,其实也就是信息筛选的漏斗,这也是工程上效率的需要,把意向对象的数量从粗犷到精细化的筛选过程(这过程就像是找工作的时候,HR根据简历985/211粗筛出一部分,再做技能匹配及面试精准筛选,最终敲定合适的人选)原创 2022-03-02 22:48:00 · 291 阅读 · 0 评论 -
什么是倒排索引?
创建倒排索引,分为以下几步:1)创建文档列表:lucene首先对原始文档数据进行编号(DocID),形成列表,就是一个文档列表2)创建倒排索引列表然后对文档中数据进行分词,得到词条。对词条进行编号,以词条创建索引。然后记录下包含该词条的所有文档编号(及其它信息)。谷歌之父--> 谷歌、之父倒排索引创建索引的流程:1) 首先把所有的原始数据进行编号,形成文档列表2) 把文档数据进行分词,得到很多的词条,以词条为索引。保存包含这些词条的文档的编号信息。搜..原创 2022-02-27 11:48:26 · 554 阅读 · 0 评论 -
新浪新闻发布Z世代洞察报告:Z世代偏爱深入“吃瓜” 对元宇宙兴趣强烈
2021年12月14日,新浪新闻发布《走进自信的Z世代 2021新青年洞察报告》(以下简称报告),从人群特征、信息获取、生活消费、智能生活等多个维度,全面洞察Z世代的兴趣偏好等特征。据国家统计局、CNNIC数据显示,截至2021年6月,95、00后Z世代活跃用户规模已超2.2亿,约占全体移动网民的22%。报告认为,作为互联网原住民,Z世代新青年身上散落着独特的网络特征和亚文化符号,信息获取、消费决策、生活空间等更具互联网特征,也更加注重个性化和互动体验。内容喜好多元 Z世代最爱吃瓜 且要把瓜吃透原创 2022-01-03 20:36:50 · 821 阅读 · 0 评论 -
常见用户行为分析模型解析:点击分析模型
点击分析模型在各行业内数据分析应用较为广泛,是重要的数据分析模型之一。点击图与热力图有何差异?热力图是以特殊高亮的形式显示访客热衷的页面区域和访客所在的地理区域的图示,如图。同样,点击图也是特殊高亮的颜色形式的显示。不同的是,点击图是点击分析方法的效果呈现,在用户行为分析领域,点击分析被应用于显示页面或页面组(结构相同的页面,如商品详情页、官网博客等)区域中不同元素点击密度的图示。包括元素被点击的次数、占比、发生点击的用户列表、按钮的当前与历史内容等因素。图1 点击图 (图片来源于网络).原创 2021-12-12 10:26:40 · 864 阅读 · 0 评论 -
常见用户行为分析模型:用户分群
用户分群是企业精细化,数据化运营的第一步。用户分群数据分析方法是进行用户画像的关键数据分析模型,这是企业进行数据分析、精细化运营的第一步。用户分群即用户信息标签化,通过用户的历史行为路径、行为特征、偏好等属性,将具有相同属性的用户划分为一个群体,并进行后续分析。漏斗分析关注阶段差异,用户分群关注群体差异前面的文章我们讲了漏斗分析模型。通过漏斗分析模型,运营人员可以看到,用户在不同阶段所表现出的行为是不同的,譬如新用户的关注点在哪里?已购用户什么情况下会再次付费?然而,由于群体特征不同,行为会.原创 2021-12-12 10:24:18 · 1461 阅读 · 0 评论 -
常见用户行为分析模型:用户行为路径分析模型
用户行为路径分析同样是重要的数据分析模型,它为企业实现理想的数据驱动与布局调整提供科学指导,对精准勾勒用户画像也有重要参考价值。用户访问APP/网络,如同参观画展,观众是感受和传达画展参展方和展品的目的受众体,图画的展现布局不同,每一位观众根据自身喜好形成特有的参观顺序。为让观众沿着最优访问路径前进,需要策展者结合观众需求进行布局调整。这种自主式的数据分析方法,让业务人员都能科学进行数据分析。什么是用户行为路径?用户路径分析,顾名思义,用户在APP或网站中的访问行为路径。为了衡量网站优化的效果或.原创 2021-12-12 10:22:04 · 2099 阅读 · 0 评论 -
常见用户行为分析模型:漏斗分析模型
用户行为分析之漏斗分析模型是企业实现精细化运营、进行用户行为分析的重要数据分析模型,其精细化程度影响着营销管理的成败,以及用户行为分析的精准度。现代营销观念认为:“营销管理重在过程,控制了过程就控制了结果。”用户行为分析之漏斗分析模型是企业实现精细化运营、进行用户行为分析的重要数据分析模型,其精细化程度影响着营销管理的成败,以及用户行为分析的精准度。粗陋的漏斗分析模型因为过程管理不透明、数据分析不精细、用户行为分析不科学而造成结果失控。因此,我们经常能够听到一些产品经理的抱怨不绝于耳:从启动 APP.原创 2021-12-12 10:18:27 · 1009 阅读 · 0 评论 -
常见用户行为分析模型:用户留存分析模型
在用户行为领域,通过数据分析方法的科学应用,经过理论推导,能够相对完整地揭示用户行为的内在规律。基于此帮助企业实现多维交叉分析,帮助企业建立快速反应、适应变化的敏捷商业智能决策。结合近期的思考与学习,将为大家陆续介绍不同针对用户行为的分析模型。本文主要介绍用户留存分析。据某第三方平台近期调研结果显示,在金融创业领域,2013 年一家互联网金融创业公司的投资获客成本区间为 300 – 500 元,而 2016 年则涨为 1000 – 3000 元;在电商领域,新用户的获取成本,是维护一个老用户的 3 倍到原创 2021-12-12 10:12:21 · 1448 阅读 · 0 评论 -
常见用户行为分析模型:行为事件分析模型
在用户行为领域,通过数据分析方法的科学应用,经过理论推导,能够相对完整地揭示用户行为的内在规律。基于此帮助企业实现多维交叉分析,帮助企业建立快速反应、适应变化的敏捷商业智能决策。结合近期的思考与学习,将为大家陆续介绍不同针对用户行为的分析模型。本文主要介绍行为事件分析。一、什么是行为事件分析?行为事件分析法来研究某行为事件的发生对企业组织价值的影响以及影响程度。企业借此来追踪或记录的用户行为或业务过程,如用户注册、浏览产品详情页、成功投资、提现等,通过研究与事件发生关联的所有因素来挖掘用户行为事件背原创 2021-12-12 10:07:57 · 1063 阅读 · 0 评论 -
常见用户行为分析模型:归因分析
在用户行为分析领域,数据分析方法的科学应用结合理论推导,能够相对完整地揭示用户行为的内在规律。而归因是精细化运营必不可少的利器,归因的目的,终究是为了提升运营转化与收入增长。本文详细介绍了归因分析模型的概念和应用场景,与大家分享。在 PC 互联网时代,一个网站吸引新用户的主要方式之一就是投放线上广告。而同样一篇广告可以投放至多个渠道,一个用户也可能在不同渠道商多次看到广告才发生购买。这时候用户虽然是最后一次看到广告才发生点击,但前面的几次曝光 可能给用户留下了印象,建立了心理认知,因此对用户的本次点击亦原创 2021-12-11 11:27:38 · 2283 阅读 · 0 评论 -
网络广告中,CPC、CPA、CPM 的定义各是怎样的?
1.CPM(Cost Per Mille) :展现成本,或者叫千人展现成本这是衡量广告效果的一种基本形式(不管是传统媒体还是网络媒体)。为广告每展现给一千个人所需花费的成本。按CPM计费模式的广告,只看展现量,按展现量收费,不管点击、下载、注册什么的。一般情况下,网络广告中,视频贴片、门户banner等非常优质的广告位通常采用CPM收费模式。搜狐首页banner广告(也可能是按CPT收费模式)那么,广告主是如何知道广告展现了多少次了呢?在网络媒体广告中,一般由两种方法获得数据:一、是所投原创 2021-01-25 12:42:16 · 1394 阅读 · 0 评论 -
推荐算法分类
推荐算法大致可以分为三类:基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算法。1、基于内容的推荐算法,原理是用户喜欢和自己关注过的Item在内容上类似的Item,比如你看了哈利波特I,基于内容的推荐算法发现哈利波特II-VI,与你以前观看的在内容上面(共有很多关键词)有很大关联性,就把后者推荐给你,这种方法可以避免Item的冷启动问题(冷启动:如果一个Item从没有被关注过,其他推荐算法...原创 2019-11-22 12:04:24 · 9278 阅读 · 11 评论 -
推荐系统的召回
所谓召回,在刚接触推荐系统的时候可能只看字面意思无法理解召回的意思,召回可以理解为向用户粗选一批待推荐的商品,相当于粗排序。之后会加一层CTR预估的rank模型,相当于精排序推荐系统的主要模块即为:召回 => 排序(精排) => 过滤模块(对最终展示商品进行过滤,多样性排序等)推荐系统是一个很大的话题,涉及到很多模块,这里主要是调研了一下推荐召回环节的主流做法。一般有如下几条线路...原创 2018-08-28 17:16:08 · 12514 阅读 · 0 评论 -
推荐系统技术演进趋势:从召回到排序再到重排
推荐系统技术,总体而言,与NLP和图像领域比,发展速度不算太快。不过最近两年,由于深度学习等一些新技术的引入,总体还是表现出了一些比较明显的技术发展趋势。这篇文章试图从推荐系统几个环节,以及不同的技术角度,来对目前推荐技术的比较彰显的技术趋势做个归纳。个人判断较多,偏颇难免,所以还请谨慎参考。在写技术趋势前,照例还是对推荐系统的宏观架构做个简单说明,以免读者迷失在技术细节中。实际的工业...原创 2020-01-02 19:57:38 · 4356 阅读 · 1 评论 -
最小推荐系统:协同过滤(Collaborative Filtering)
当UGC/PUGC社区发展到一定规模,需要从人工推荐(热门榜单、编辑推荐等策略)转向算法推荐信息流展示给用户。在这个阶段,我们会遇到推荐系统的冷启动问题,表现在两个方面:1)一般意义的冷启动:新用户(或者新条目)到来的时候,没有用户行为记录,因而算法无法预测其兴趣爱好;2)之前的人工推荐信息流导致社区信息的生产端(Item,条目)和消费端(User,用户)的分布都过于头部化,生产端的头部条目用户几乎都消费过,而腰部条目用户几乎都没有消费过。这种情况下关于条目和用户的描述都过于稀疏化。我们希...原创 2020-06-22 20:09:21 · 1647 阅读 · 0 评论 -
以微博核心业务为例,解读如何仅用1台服务器支持百万DAU
近些年,各家公司都在不断推出各种新的 App,百万 DAU 成为各种 App 的最基本目标。本文将详解如何通过大规格服务器 +K8s 的方案简化这些新项目的成本评估、服务部署等管理工作,并在流量增长时进行快速扩容。同时,本文还介绍了微博核心业务采用此方案部署时遇到的问题以及对应的解决方案。原创 2022-11-04 20:21:30 · 399 阅读 · 0 评论 -
微博热搜算法
近日,部分社会热点事件受到网友广泛关注和讨论,有网友对微博热搜榜单管理和细则产生误解。热搜设立至今,始终致力于提供最新鲜、最热门的资讯,提升用户发现微博热点的效率。如今,社会各界和广大网友对热搜提出了更高的期许,有关热搜的恶意揣测和谣言屡禁不止。为消除疑惑,澄清“花钱撤热搜”、“花钱压热搜”等不实传言,现将站方有关热搜的相关规则公布如下:一、产品规则:热搜榜单是如何形成的微博热搜根据微博用户的真实行为进行计算,实时发现微博平台内正受到广泛关注的热点内容,并形成实时榜单。1、被大量网友搜索和讨论的关键词转载 2021-08-24 10:17:15 · 3103 阅读 · 1 评论 -
爱奇艺APP的自动化录制回放系统 全云化处理新体验
在面对大量的APP功能用例回归测试的时候,测试开发工程师最头痛的问题之一便是新功能交付时间紧迫,原有功能回归测试耗时长,自动化脚本都没时间跟进补齐测试用例。导致核心功能回归遗漏,新功能测试质量也得不到保障等问题,爱奇艺技术团队自主开发了一套全新的APP的自动化录制回放系统,并取得了比较满意的实践效果。工欲善其事,必先利其器,我们看看他们是如何做到的。简介测试开发工程师面临高效、高质量等测试...转载 2020-03-28 19:27:25 · 7938 阅读 · 0 评论 -
推荐系统中的排序学习框架
「排序学习(Learning to Rank,LTR)」,也称「机器排序学习(Machine-learned Ranking,MLR)」 ,就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后,如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研究话题,因此产生了各类基于机器学习的排序算法,也带来了搜索引擎技术的成熟和发展,如今,Learning to Rank已经成为搜索、推荐和广告领域非常重要的技术手段。本文我们首先介绍排序学习的三种主要类别,然后详细介绍原创 2021-01-28 14:54:30 · 471 阅读 · 0 评论 -
IMEI校验位算法Luhn
移动设备国际识别码(IMEI:International Mobile Equipment Identification Number)是区别移动设备的标志,具有唯一性,贴在手机背面的标志上,并且储存在移动设备中,可用于监控被窃或无效的移动设备,它也是该手机在厂家的"档案"和"身份证号".IMEI码由GSM(全球移动通信协会)统一分配,授权BABT(英国通信认证管理委员会)审受.其总长为15位,每位数字仅使用0~9的数字(含义见下文). IMEI由15位数字组成,其组成为:前6位...原创 2021-01-05 16:36:18 · 1321 阅读 · 0 评论 -
网易云音乐推荐中的用户行为序列深度建模
导读:近年来,网易云音乐作为一匹黑马迅速在移动音乐APP占据市场,2016年用户量就突破了2亿,而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地,实现千人千面的个性化音乐推荐系统。本文将重点介绍推荐系统在云音乐的落地实践,以及在音乐推荐系统中遇到的挑战和解决方案。使大家了解音乐场景下的多行为域的序列建模,包括用户多兴趣点挖掘、多空间长短期兴趣建模,以及音乐场景下的用户兴趣演化网络建模。主要内容包括: 网易云音乐简介 召回体系探索 精排模型演化历程转载 2020-11-21 17:53:31 · 2312 阅读 · 0 评论 -
CSCNN:新一代京东电商广告排序模型
导读:随着电商平台对图像信息的大量引入,通过图像分析来进行广告点击率判断就成了新的趋势。本次分享的主题为CSCNN:新一代京东电商广告排序模型,主要介绍视觉信息在CTR排序模型中的应用。一方面,我们将介绍在工业场景下使用CNN将图像加入CTR模型联合建模的方法;另一方面,我们指出传统用于分类任务的CNN并不适合电商场景。将电商场景中丰富的、具有强视觉先验的"商品类目标注"作为CNN输入的一部分,将有效降低CNN训练的难度,提升排序效果。模型于2019年上线,是京东搜索广告业务中收效较好的一种算法,也入选转载 2020-09-06 20:40:43 · 1194 阅读 · 0 评论 -
网易实时数仓实践与展望
导读:随着大数据技术的进步,各种计算框架的涌现,数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓,越来越多的企业对数据的实时性提出了严格的要求,如何满足企业的低延时的数据需求,如何看待批量处理和实时处理的关系,实时数仓应该如何分级,各家可能都有自己的理解,本文主要介绍网易的实时计算平台的建设实践以及网易对于实时数仓方面的一些规划及展望,希望能够起到抛砖引玉的作用。01 实时计算平台实践1. 网易实时计算平台:Sloth网易的实时计算平台Sloth译成中文是树懒的意思,继承了网易喜欢用动物转载 2020-09-06 20:29:18 · 654 阅读 · 0 评论 -
推荐系统架构治理
导读:在数字化革命和AI赋能的大背景下,推荐场景逻辑越来越复杂,推荐细分场景越来越丰富,对业务迭代和效果优化的效率有了更高的要求。推荐系统业务和技术在传统架构支撑下自然堆砌,变得越来越臃肿,开发维护困难,推荐系统在应用架构上正面临新的挑战。本文就第四范式在智能推荐系统架构方面的探索实践,聊一聊在应用架构治理方面提升推荐服务开发维护效率,增强系统灵活性和扩展性的新探索。重点探讨在开发推荐系统乃至智能系统领域时遇到的问题,解决方法及未来的发展趋势。主要内容包括: 推荐系统业务现状、趋势及挑战转载 2020-09-06 20:17:27 · 847 阅读 · 0 评论 -
数据科学研究的现状与趋势全解
大数据时代的到来催生了一门新的学科——数据科学。首先,本文探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系;其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题;接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是...原创 2019-11-27 17:29:10 · 4728 阅读 · 0 评论