海角天涯_945-CSDN博客

原创机器学习平台调研

1、angelhttps://github.com/Angel-MLAngel is developed with Java and Scala. It supports running on Yarn and Kubernetes. With the PS Service abstraction, it provides two modules, namely Spark on Angel and Pytorch on Angel separately, which enables the integ

2020-12-25 14:41:28 213

原创 clipper使用

一、clipper使用的redis库说明enum RedisDBTable { REDIS_STATE_DB_NUM = 1, REDIS_MODEL_DB_NUM = 2, REDIS_CONTAINER_DB_NUM = 3, REDIS_RESOURCE_DB_NUM = 4, REDIS_APPLICATION_DB_NUM = 5, REDIS_METADATA_DB_NUM = 6, // used to store Clipper configuration metadat

2020-10-22 16:15:07 2078 1

原创把盏话技术最是醉行者

2008年的8月，北京正在举办一场空前盛大的奥运会。正值大二的我，放弃了暑假，得到了去一家软件公司实习的机会。当时分配给我的第一个任务是要实现基于MFC的图形绘制功能，对技术懵懵懂懂的我，由此开始了自己的技术人生。那会儿网络资料还没有现在这么便捷，当我在工作过程中遇到问题百思不得其解的时候，前辈稍作点拨，犹醍醐灌顶，我对前辈的崇拜之情，油然而生。心想，自己将来也要成为这样的技术达人。浅尝航企职场路2013年毕业之后，我进入一家国企工作。国企的氛围相对比较轻松，加班较少，工作中更多的内容是实现一些复杂的业

2020-10-22 11:19:49 234 1

原创 5 分钟，用 NiFi 自动传输系统间的数据流

一、我们为什么不用 Flink在信息流推荐业务场景中，数据是模型迭代的原材料，是指标增长的重要基石，而「数据流」则贯穿整个推荐业务场景。一些系统创建了数据，而另一些系统需要使用这些数据。因此高效的数据流托管和自动化传输，是很长时间以来一直困扰我们的问题。为了使不同系统间的数据标准得到统一，企业常用 Flink 或 Storm（以下简称 FS）构建系统间数据流传输的解决方案。但是在推荐架构侧，很多场景下直接搬运数据流即可，不需要进行大量转化，这时使用 FS 的代价就有点大了，而且并不高效。对于数据流的处

2020-10-22 10:24:56 1527 1

原创 Java 性能监控工具 Stagemonitor 在推荐架构中的应用详解

随着业务增长，推荐架构 Java 服务的压力也逐渐增加。为了及时处理应用程序性能问题，定位故障并分析原因，我们迫切需要一款能够提供全方位监控的工具。我们对市面上应用较多的三款性能监控和管理方案进行了多方面比较，结果见下图可以看出，三个方案对类似请求、JVM、OS 这种常规的监控都可以支持。但除此之外，根据推荐的实际需求，我们还需要具备历史信息存储和分析、创建自定义报警机制并为指标定义阈值，以及集群监控的能力，这样看下来只有 Stagemonitor 可以满足。因此，我们最终选定 Stagemonito

2020-10-22 10:21:22 1318 5

原创 Java堆外缓存OHC在马蜂窝推荐引擎的应用

在推荐系统中，通常由推荐引擎提供线上推荐服务。推荐引擎的工作流程主要包括召回、排序等阶段，每个阶段都需要大量的数据支撑，快速读取这些数据对提升推荐引擎的性能起着重要的作用。缓存在企业级Web系统中使用非常广泛，举例来说，业务程序和数据库通常运行在不同的物理服务器上，并通过网络访问数据库。网络传输的耗时，自然会增加系统的响应时间。为了降低响应时间，业务程序可以将从数据库中读取到的部分数据，缓存在本地服务器以供后续使用。缓存框架OHC基于Java语言实现，并以类库的形式供其他Java程序调用，是一种以单机模

2020-10-21 09:36:15 1279

原创马蜂窝推荐系统容灾缓存的设计与实现

数据库突然断开连接、第三方接口迟迟不返回结果、高峰期网络发生抖动… 当程序突发异常时，我们的应用可以告诉调用方或者用户，「对不起，服务器出了点问题」；或者，在不违反正确性的前提下，我们也可以返回缓存的数据，从而达到提高用户体验的目的。背景用户在马蜂窝 App 上「刷刷刷」时，推荐系统需要持续给用户推荐 TA 可能感兴趣的内容，主要步骤为：根据用户特性和业务场景，「召回」根据各种机器学习算法计算过的内容，对这些内容进行「排序」，然后返回给前端。这个过程涉及到 MySQL 和 Redis 查询、REST

2020-10-20 18:18:04 301

原创 Jenkins 集成 JMeter 搭建面向开发的性能压测平台

**Jenkins 集成 JMeter 搭建面向开发的性能压测平台**随着主流系统的服务化设计，特别是SOA架构和微服务架构的流行，接口已经成为各系统间通信的桥梁。所以，接口的性能压测也变得越来越重要。新项目上线前需要对项目中的接口进行压力测试，以保证接口性能的稳定性，而接口的响应时间和稳定性等在很大程度上影响了用户对于系统使用的满意度。另一方面，对于开发人员来说，每次上线前对接口的压测是重复性很大的工作，而且考虑到大多开发人员对于测试工具JMeter的使用并不是很了解，所以计划配置一套自动化测试的

2020-10-20 11:24:22 860

原创 xgboost多线程优化(修复C++线程安全问题)

xgboost多线程优化xgboost简介背景xgboost版本第一版优化问题分析优化方式实现原因第二版优化问题分析优化方式实现原因打包方式xgboost简介XGBoost[1] 是一个开源软件库，它为 C++、Java、Python、[2] R、[3]和Julia[4]提供了一个梯度提升框架，适用于Linux、Windows、[5]和 mac os。[6] 根据项目的描述，它的目的在于提供一个"可扩展、可移植和分布式梯度提升(GBM、GBRT、GBDT)库"。 XGBoost除了可以在单一机器上运行，

2020-10-20 09:52:17 896

qq_16046891的博客