zhoxing

一. 问题现象最近我在做一个推荐系统中的离线计算时，遇到了离线定时任务总是挂掉的问题，日志中记录的错误异常如下:python exited with code 137在stackoverflow上查询了一下这个错误的原因, 高赞回答的解释如下:Exit code 137 means that your process was killed by (signal 9) SIGKILL . In the case you manually stopped it - there’s your answ

利用上下文信息5.1 时间上下文信息5.1.1 时间效应简介时间是一种重要的上下文信息，对用户兴趣有着深入而广泛的影响。一般认为，时间信息对 用户兴趣的影响表现在以下几个方面:用户兴趣是变化的物品也是有生命周期的季节效应5.1.2 时间效应举例5.1.3 系统时间特性的分析在给定时间信息后，推荐系统从一个静态系统变成了一个时变的系统，而用户行为数据也变成了时间序列。研究一个时变系统，需要首先研究这个系统的时间特性。包含时间信息的用户行为数据集由一系列三元组构成，其中每个三元组(u,t,

利用用户标签数据推荐系统的目的是联系用户的兴趣和物品，这种联系需要依赖不同的媒介。推荐系统基本上通过3种方式联系用户兴趣和物品:利用用户喜欢过的物品，给用户推荐与他喜欢过的物品相似的物品，这就是前面提到的基于物品的算法利用和用户兴趣相似的其他用户，给用户推荐那些和他们兴趣 爱好相似的其他用户喜欢的物品，这是前面提到的基于用户的协同过滤算法通过一些特征（feature ）联系用户和物品，给用户推荐那些具有用户喜欢的特征的物品。这里的特征有不同的表现方式，比如可以表现为物品的属性集合，也可以表现为隐语

推荐系统冷启动问题推荐系统需要根据用户的历史行为和兴趣预测用户未来的行为和兴趣，因此大量的用户行为数据就成为推荐系统的重要组成部分和先决条件。在开始阶段就希望有个性化推荐应用的网站来说，如何在没有大量用户数据的情况下设计个性化推荐系统并且让用户对推荐结果满意就是冷启动的问题3.1 冷启动问题简介冷启动问题（coldstart）主要分3类:用户冷启动主要解决如何给新用户做个性化推荐的问题。当新用户到来时， 我们没有他的行为数据，所以也无法根据他的历史行为预测其兴趣物品冷启动主要解决如何将新的物

利用用户行为数据基于用户行为分析的推荐算法是个性化推荐系统的重要算法，学术界一般将这种类型的算法称为协同过滤算法。协同过滤就是指用户可以齐心协力，通过不断地和网站互动，使自己的推荐列表能够不断过滤掉自己不感兴趣的物品，从而越来越满足自己的需求。2.1 用户行为数据简介用户行为数据在网站上最简单的存在形式就是日志。网站在运行过程中都产生大量原始日志 (raw log),并将其存储在文件系统中。很多互联网业务会把多种原始日志按照用户行为汇总成会话日志(session log),其中每个会话表示一次用户行为

好的推荐系统1.1 什么是推荐系统随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载(information overload )的时代。在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：对于信息消费者，从大量信息中找到自己感兴趣的信息是一件非常困难的事情；对于信息生产者，让 自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统就是解决 这一矛盾的重要工具。推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值 的信息，另一方面让信息能够展现

什么是架构图？如何画好一张架构图，要做好这件事情首先要回答的就是什么是架构图。我们日常工作中经常能看到各种各样的架构图，而且经常会发现大家对架构图的理解各有侧重。深入追究到这个问题，可能一下子还很难有一个具象的定义，如果我们把这个问题进行拆分（如下图）理解起来就会容易一点。架构图 = 架构 + 图按照这个等式，我们可以把问题转换： 架构是什么？ 图是什么？ 图是什么？这个比较容易回答，图是一种信息的表达方式，所以架构图，即表达“架构”的图，...

一、写在前面作者在上篇文章《推荐系统介绍》中简单对推荐系统做了一个较全面的介绍，相信大家对推荐系统有了初步的了解。本篇文章作者会结合多年推荐系统开发的实践经验粗略介绍推荐系统的工程实现， 简要说明要将推荐系统很好地落地到产品中需要考虑哪些问题及相应的思路、策略和建议, 其中有大量关于设计哲学的思考, 希望对从事推荐算法工作或准备入行推荐系统的读者有所帮助。本篇文章主要从整体上来介绍推荐系统工程实现, 以后发布的系列文章会逐步介绍工程实现的各个细节实现原理与策略。为了描述方便，本文主要基于视频推荐来讲

本文将会讲述Python 3.5之后出现的async/await的使用方法，以及它们的一些使用目的，如果错误，欢迎指正。昨天看到David Beazley在16年的一个演讲：Fear and Awaiting in Async，给了我不少的感悟和启发，于是想梳理下自己的思路，所以有了以下这篇文章。Python在3.5版本中引入了关于协程的语法糖async和await，关于协程的概念可以先看我在上一篇文章提到的内容。看下Python中常见的几种函数形式：1. 普通函数def functi

题记几个月以来，我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和Elasticsearch官方文档中已经介绍的内容。本文梳理的内容都是从线上实践问题和个人总结的经验汇总得来的。文章从以下几个维度展开讲解： 映射（Mapping） 设置（Setting）...

编写高质量可维护的代码既是程序员的基本修养，也是能决定项目成败的关键因素，本文试图总结出问题项目普遍存在的共性问题并给出相应的解决方案。1. 程序员的宿命？程序员的职业生涯中难免遇到烂项目，有些项目是你加入时已经烂了，有些是自己从头开始亲手做成了烂项目，有些是从里到外的烂，有些是表面光鲜等你深入进去发现是个“焦油坑”，有些是此时还没烂但是已经出现问题征兆走在了腐烂的路上。国内基本上是这...

在QCon10周年的大会上，我做了题为《微服务架构体系的深度治理》的分享，现将PPT和演讲文稿整理出来，希望能够给仍在（微）服务治理迷局中夺路狂奔的同学们一点启发和指引。这次分享首先介绍了服务治理的发展历史，它的4个阶段；接着重点介绍微服务度量及分析体系的构建；最后，分别针对微服务线上及线下体系的治理进行深入探讨。“治理”这个词，在汉语词典中是“整...

你是否曾幻想读一遍书就记住所有的内容？是否想学习完一项技能就马上达到巅峰水平？除非你是天才，不然这是不可能的。对于大多数的普通人来说，可以通过笨办法（死记硬背）来达到学习的目的，但效率低下。当然，也可以通过优秀的学习法来进行学习，比如今天讲的“费曼学习法”，可以将你的学习效率极大的提高。## 费曼学习法费曼学习法是由加拿大物理学家费曼所发明的一种高效的学习方法，费曼本身是一个天...

一. 问题背景在双十一时，有用户反馈推广平台物料列表出现了耗时严重的情况。筛选排序系统出现过耗时严重的情况，根据业务系统的筛选排序慢接口的traceId, 我们分析了一下请求链路上的瓶颈是ES.二. 问题排查首选我们在监控平台上确认了一下ES的访问流量，发现流量曲线变化不大，说明不是ES读请求压力突增导致的。接着我们看了ES的bigdesk监控，发现有不少Full GC，与此同时查看了GC...

1、switch优化更新JDK11以及之前的版本：switch (day) { case MONDAY: case FRIDAY: case SUNDAY: System.out.println(6); break; case TUESDAY: System.out.println(7); break; case THURSDAY: case SATURDA...

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

从Redis的工作模式谈起我们在使用Redis的时候，通常是多个客户端连接Redis服务器，然后各自发送命令请求(例如Get、Set)到Redis服务器，最后Redis处理这些请求返回结果。那Redis服务端是使用单进程还是多进程，单线程还是多线程来处理客户端请求的呢？答案是单进程单线程。当然，Redis除了处理客户端的命令请求还有诸如RDB持久化、AOF重写这样的事情要...

之前做到一道算法题感觉挺有意思的，题目内容如下:给你一个字符串str，你必须让找到这个字符串中的最长的正方字符串，正方字符串是以下的形式str = x + x; where x is any string. Return length of this square string.Examplestr = ababaMax length square string = 4;str = ...

前言MyISAM和InnoDB是MySQL最常用的两个存储引擎，本文将进行详尽的介绍和对比。对于MySQL其余几种存储引擎，请读者自行搜索学习。本文会图解两种引擎的索引结构区别，然后讲解索引的原理，理解本文内容，就能够理解索引优化的各种原则的背后原因。限于篇幅，本篇没有介绍的知识，会在后续博客将逐一讲解。例如：MySQL引擎的锁机制、多列索引的生效规则、索引优化等主题。下面SQL在...

一. 事件背景我在凤巢团队独立搭建和运维的一个高流量的推广实况系统，是通过HttpClient 调用大搜的实况服务。最近经常出现Address already in use (Bind failed)的问题。很明显是一个端口绑定冲突的问题，于是大概排查了一下当前系统的网络连接情况和端口使用情况，发现是有大量time_wait的连接一直占用着端口没释放，导致端口被占满（最高的时候6w+个），因此H...