2019年12月_hellozhxy

转载京东电商推荐系统实践

分享嘉宾：孟崇京东推荐架构负责人编辑整理：Hoh Xil内容来源：DataFun AI Talk出品社区：DataFun注：欢迎转载，转载请注明出处今天为大家分享下京东电商推荐系统实践方面的经验，主要包括：简介排序模块实时更新召回和首轮排序实验平台▌简介说到推荐系统，最经典的就是协同过滤，上图是一个协同过滤的例子。协同过滤主要分为俩种：us...

2019-12-31 17:39:16 448

转载浅谈推荐系统

由推荐系统带来的推荐服务基本上已经渗透到我们生活的方方面面，本文作为浅谈推荐系统的基础篇，主要从下面几个维度介绍推荐系统的相关知识：什么是推荐系统推荐系统在商业中的地位推荐系统、搜索引擎及广告的关系推荐系统的关键元素推荐系统相关的算法篇幅较长，可能大部分道友比较关心算法部分，所以重点罗列了推荐系统算法思维演进史，每类算法理论点到即止，没...

2019-12-30 19:16:38 615

转载推荐系统的召回

推荐系统是一个很大的话题，涉及到很多模块，这里主要是调研了一下推荐召回环节的主流做法。一般有如下几条线路。所谓召回，在刚接触推荐系统的时候可能只看字面意思无法理解召回的意思，召回可以理解为向用户粗选一批待推荐的商品，相当于粗排序。之后会加一层CTR预估的rank模型，相当于精排序推荐系统的主要模块即为：召回 => 排序（精排） => 过滤模块（对最终展示商品进行过滤，多样性排序等)...

2019-12-30 19:07:09 538

转载 Facebook边际排名算法

社交分发带来了新的问题：一方面，进入稳定期后，流量出现了新的垄断：一些大号由于拥有大量的粉丝、保持了高频的发布量，实际掌握了平台的流量分配权。比如，微博上大部分流量一度被营销号和大号所占据，使新的内容生产者获取流量的成本剧增。另一方面，随着社交关系的不断扩张，微博、微信已经成了线上名片，用户关注了越来越多的来源，基于社交分发的内容质量也逐步下降。朋友圈中盛行的养生文、微商广告、晒娃帖等就是...

2019-12-30 18:56:48 451

转载 Tensorflow 入门教程

Tensorflow 入门教程http://tensornews.cn/深度学习发展史特征工程深度学习之激活函数损失函数反向传播算法 [上] 反向传播算法 [下] Tensorflow 介绍和安装 Tensorflow 基本操作卷积神经网络概述卷积神经网络基础操作手写数字识别数据集介绍卷积神经实现手写数字识别卷积神经网络经典模型概述卷积神经网络...

2019-12-30 16:26:05 162

转载 spark.mllib：GradientBoostedTrees

Gradient-Boosted Trees(GBT或者GBDT) 和 RandomForests 都属于集成学习的范畴，相比于单个模型有限的表达能力，组合多个base model后表达能力更加丰富。关于集成学习的理论知识，包括GBT和Random Forests的一些比较好的参考资料：周志华教授的"Ensemble Methods: Foundations and Algorithms"...

2019-12-30 15:42:29 247

转载 spark.mllib：NaiveBayes

朴素贝叶斯模型简述：贝叶斯模型通过使用后验概率和类的概率分布来估计先验概率，具体的以公式表达为P(Y)可以使用训练样本的类分布进行估计。如果X是单特征也很好估计，但如果X={x1,x2,..,xn}等n个特征构成，那估计n个特征的联合概率分布P(X)=P(x1,x2,...,xn)将变得非常困难。由于贝叶斯模型的参数难于估计，限制了其的应用。朴素贝叶斯模型是贝叶斯模型的简化版本，通过假设...

2019-12-30 15:38:29 268

转载 spark.mllib：回归算法

Spark实现了三类线性回归方法：1、LinearRegression：普通线性回归模型2、LassoRegression：加L1正则化的线性回归3、RidgeRegression：加L2正则化的线性回归Spark采用了模型和训练分离定义的方式，模型和模型的迭代计算都很清晰：如LinearRegressionModel和LinearRegressionWithSGD，LassoMode...

2019-12-30 15:30:59 486

转载 spark.mllib：Optimizer

Spark中的求解器，根据输入的训练数据及设定的迭代次数、正则化项、参数收敛精度等进行迭代求解模型的参数。Spark内部实现来两类求解器，基于随机梯度下降(miniBatch选取样本)的GradientDescent、基于大规模数值优化算法的LBFGS。在整体架构上，两个类都继承自Optimizer，并需要调用Gradient和UpdaterGradientDescentGradient...

2019-12-30 15:16:48 178

在训练集成分类器时，关键的一步在于如何从全训练样本集中构建子样本集提供给子分类器进行训练。目前主流的两种子样本集构造方式是bagging方法和boosting方法。bagging方法的思想是从全样本集中有放回的进行抽样来构造多个子样本集，每个子样本集中可以包含重复的样本。对每个子样本集训练一个模型，然后取平均得到最后的集成结果。baggingbagging方法的主要目的是为了降低模型的var...

2019-12-30 15:14:37 263

转载使用spark ml pipeline进行机器学习

一、关于spark mlpipeline与机器学习一个典型的机器学习构建包含若干个过程1、源数据ETL2、数据预处理3、特征选取4、模型训练与验证以上四个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收集开始至输出我们需要的最终结果。因此，对以上多个步骤、进行抽象建模，简化为流水线式工作流程则存在着可行性，对利用spark进行机器学习的用户来说，流水线式机器学习比单个步骤独立建...

2019-12-30 14:16:19 297

转载 Java I/O体系原理

基础概念在介绍I/O原理之前，先重温几个基础概念：(1) 操作系统与内核操作系统：管理计算机硬件与软件资源的系统软件内核：操作系统的核心软件，负责管理系统的进程、内存、设备驱动程序、文件和网络系统等等，为应用程序提供对计算机硬件的安全访问服务2 内核空间和用户空间为了避免用户进程直接操作内核，保证内核安全，操作系统将内存寻址空间划分为两部分：内核空间（Kernel-space），供...

2019-12-27 14:00:58 888

转载今日头条推荐算法原理全文详解

本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析，内容安全等原理。一、系统概览推荐系统，如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。第一个维度是内容。头条现在已经是一个综合内容平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取不同内容类型的特征做好推荐。第二个维度是用...

2019-12-27 11:38:43 1995

转载分布式理论(七)：一致性协议之 ZAB

前言在前面的文章中，我们说了很多一致性协议，比如 Paxos，Raft，2PC，3PC等等，今天我们再讲一种协议，ZAB 协议，该协议应该是所有一致性协议中生产环境中应用最多的了。为什么呢？因为他是为 Zookeeper 设计的分布式一致性协议！1. 什么是 ZAB 协议？ ZAB 协议介绍 ZAB 协议全称：Zookeeper Atomic Broadcast（Zookeeper ...

2019-12-25 20:48:52 123

转载 Kafka原理总结

KafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li...

2019-12-24 20:59:22 1034

转载 Learning to rank基本算法小结

最近工作中需要调研一下搜索排序相关的方法，这里写一篇总结，总结记录一下几天的调研成果。包括 Learning to rank 基本方法 Learning to rank 指标介绍 LambdaMART 模型原理 FTRL 模型原理 Learning to rank排序学习是推荐、搜索、广告的核心方法。排序结果的好坏很大程度影响用户体验、广告收入等。排序...

2019-12-20 17:17:55 316

转载用户行为序列推荐模型

导读：今天我们谈谈用户行为序列上的推荐模型。首先我们对序列推荐问题做一个定义和描述，然后主要讲述可以用在序列推荐任务中的 NN 模型，最后给出一点个人看法以及文中相关的参考文献供参阅。用户行为大多数情况下都是存在时间上的先后关系的，在某一个时刻向用户推荐哪些物品一般是根据当前时刻之前用户的行为来做决策的，我们可以将序列推荐问题看做是在时间维度去学习一个模型策略来根据用户过去的行为历史来预测用户...

2019-12-20 17:14:22 4881

原创 AQS的原理及应用

前言Java中的大部分同步类（Lock、Semaphore、ReentrantLock等）都是基于AbstractQueuedSynchronizer（简称为AQS）实现的。AQS是一种提供了原子式管理同步状态、阻塞和唤醒线程功能以及队列模型的简单框架。本文会从应用层逐渐深入到原理层，并通过ReentrantLock的基本特性和ReentrantLock与AQS的关联，来深入解读AQS相关独占...

2019-12-20 14:45:04 1671

转载风控特：关系网络特征工程入门实践

风控业务背景常规RFM时间切片统计特征侧重于纵向维度量化用户风险，而关系网络特征则从横向维度来评估。纵向是指同一用户在不同时间段上的行为异常风险；横向是指在同一个时间段里聚集的不同用户放在一起评估风险。因此，关系网络特征可作为常规RFM特征的一个有力补充，为风控模型带来可预见的增量效果。芝麻信用分中的人脉关系维度可以给我们带来很多启发，其又细分为人脉圈稳定性、社交影响力指数和信用环境指数三...

2019-12-20 14:11:25 300

转载风控特征：时间滑窗统计特征体系

风控业务背景俗话说，路遥知马力，日久见人心。在风控中也是如此，我们常从时间维度提取借款人在不同时间点的特征，以此来判断借款人的风险。在实践中，这类特征通常会占到80%以上。由于是通过时间切片和聚合统计函数来构造，因此一般被称为时间滑窗统计特征。本文的主要意义在于：对于需要入门风控建模的同学而言，希望能帮助你快速上手特征工程。对已经有特征工程经验的同学而言，希望能带给你...

2019-12-20 14:06:20 1551

转载阿里巴巴架构师：十问业务中台和我的答案

一切业务数据化，一切数据业务化。“中台”概念这几年非常火，特别是阿里、腾讯、百度、京东等互联网公司最近频繁的基于中台调整组织架构，把“中台”的热度又上升到另一个高度，甚至有这样的声音， 90 年代不做 ERP 会死，现在不做中台也会定企业生死。中台的概念起源于阿里，也发展于阿里。笔者有幸参与阿里业务中台方法体系建设，也主导参与一些阿里云新零售业务中台项目，经常被问到如下问题。本文作为“阿...

2019-12-20 11:15:27 280

转载 kafka读写速度快的原因

KAFKA是分布式发布-订阅消息系统，是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。现在被广泛地应用于构建实时数据管道和流应用的场景中，具有横向扩展，容错，快等优点，并已经运行在众多大中型公司的生产环境中，成功应用于大数据领域，本文分享一下我所了解的KAFKA。【KAFKA高吞吐率性能揭秘】KAFKA的第一个突出特定就是“快”，而且是那...

2019-12-19 19:47:18 1318 1

转载 XGBoost在携程搜索排序中的应用

一、前言在互联网高速发展的今天，越来越复杂的特征被应用到搜索中，对于检索模型的排序，基本的业务规则排序或者人工调参的方式已经不能满足需求了，此时由于大数据的加持，机器学习、深度学习成为了一项可以选择的方式。携程主站搜索作为主要的流量入口之一，是用户浏览信息的重要方式。用户搜索方式多样、对接业务多样给携程主站搜索（下文简称大搜）带来了许多挑战，如：搜索方式多样...

2019-12-19 15:51:54 230

转载推荐系统工程师技能树

掌握核心原理的技能数学：微积分，统计学，线性代数周边学科：信息论基础推荐算法：CF，LR，SVM，FM，FTRL，GBDT，RF，SVD，RBM，RNN，LSTM，RL 数据挖掘：分类，聚类，回归，降维，特征选择，模型评价实现系统检验想法的技能：操作系统：Linux 编程语言：Python/R， Java/C++/C，sql，...

2019-12-17 10:25:42 799

转载阿里 Goldeneye 四个环节落地智能监控：预测、检测、报警及定位

背景介绍该分享是阿里妈妈 Goldeneye 业务监控平台的智能监控解决方案。这个分享主要包括智能监控的技术实现，以及大规模日志监测数据的自动化接入两部分。我先介绍一下智能监控部分，下一期分享中我的两位同事将给大家着重介绍日志分析处理的计算存储。智能监控现在其他一些公司也有在做，希望通过这次分享能够给大家带来一些新的启发，也欢迎大家能够提出问题和建议，互相切磋交流经验。——马小鹏分享内...

2019-12-17 10:21:44 1381

转载 Kafka 基本原理

《Java 2019 超神之路》《Dubbo 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析 —— 精品合集》《MyBatis 实现原理与源码解析 —— 精品合集》《Spring MVC 实现原理与源码解析 —— 精品合集》《Spring Boot 实现原理与源码解析 —— 精品合集》《数据库实体设计合集》《Java 面试题 —— 精品合集》 ...

2019-12-16 13:54:54 123

转载 42个机器学习练手项目

从个性化推送（今日头条）、自拍美颜、自动翻译，到无人驾驶、图像识别等诸多领域……人工智能已经渗透进我们生活的方方面面，人工智能背后的机器学习和深度学习技术，也成为了“高薪”的代名词。那么，普通程序员如何踏入AI的浪潮，站上时代薪资顶端呢？今天，我们带来了 44 个机器学习的练手项目，分为「入门知识」、「基础课程」、「基础应用」、「综合应用」、「系统进阶」5个模块，层层递进，帮助你系统地入门...

2019-12-15 10:49:43 22554 7

转载 CRDT——解决最终一致问题的利器

概述跨数据中心的数据同步是企业提升容灾能力的必备手段，对于社交、视频直播、电商以及游戏等访问规模大、业务分布广的行业，跨区域全球部署也愈发重要。然而面对大型分布式系统, 不免要讨论CAP理论，在跨区域多活的场景下如何取舍？显然P(网络分区)是首要考虑因素。其次，跨区域部署就是为了提高可用性，而且对于常见的一致性协议，不管是2PC、Paxos还是raft，在此场景下都要做跨区域同步更新，不仅会...

2019-12-13 14:52:15 10387

转载分布式架构知识体系

基础理论SOA 到 MSA 的进化SOA 面向服务架构由于业务发展到一定程度后，需要对服务进行解耦，进而把一个单一的大系统按逻辑拆分成不同的子系统，通过服务接口来通讯。面向服务的设计模式，最终需要总线集成服务，而且大部分时候还共享数据库，出现单点故障时会导致总线层面的故障，更进一步可能会把数据库拖垮，所以才有了更加独立的设计方案的出现。M...

2019-12-09 19:24:52 142

转载 MySQL锁总结

MySQL 就是其中之一，它经历了多个版本迭代。数据库锁是 MySQL 数据引擎的一部分，今天我们就一起来学习 MySQL 的数据库锁和它的优化。MySQL 锁分类当多个事务或者进程访问同一个资源的时候，为了保证数据的一致性，就需要用到锁机制。从锁定资源的角度来看，MySQL 中的锁分为：表级锁行级锁页面锁表级锁：对整张表加...

2019-12-04 20:39:22 279

原创分布式系统中的一致性协议

本文详细介绍目前分布式系统中常见的一些一致性协议：两阶段提交协议，三阶段提交协议，向量时钟，RWN协议，paxos协议，Raft协议。下面就一个个详细讲解下。一. 两阶段提交协议(2PC)两阶段提交协议，简称2PC，是比较常用的解决分布式事务问题的方式，要么所有参与进程都提交事务，要么都取消事务，即实现ACID中的原子性(A)的常用手段。两阶段提交将提交过程划分为连续的两个阶段：表决阶段(...

2019-12-03 20:50:37 621

转载 2PC到3PC到Paxos到Raft到ISR

序本文主要讲述2PC及3PC，以及Paxos以及Raft协议。两类一致性(操作原子性与副本一致性) 2PC协议用于保证属于多个数据分片上的操作的原子性。这些数据分片可能分布在不同的服务器上，2PC协议保证多台服务器上的操作要么全部成功，要么全部失败。 Paxos协议用于保证同一个数据分片的多个副本之间的数据一致性。当这些副本分布到不同的数据中心时，这个需求尤其强烈。一...

2019-12-03 20:26:55 145

hellozhxy的博客