架构设计
dustinsea
百度关键词搜索推荐系统Maker
展开
-
分类模型在关键词推荐系统中的应用
本文内容主要集中在使用机器学习方法判断两个短文本的相关性为基础构建商业关键词推荐系统。 为方便读者理解, 会先介绍该技术的具体应用背景及场景。原创 2013-10-14 16:36:39 · 2944 阅读 · 1 评论 -
特定场景的Cralwer
有时也叫Crawler。今天整理电脑文档的时候发现很早09年初自己写的一个crawler的设计文档, 打开这个50多页的文档,里边N多的逻辑图及规范定义的数据结构, 才觉得真的好久没有见过写得那么规范的文档了(也许有点自夸, 或者码农都觉得自己的就是规范: )将其中的总体设计图分享给大家参考,确切的说,并不是一个完整的crawler,而是一个连通性检查模块,所以当中更增加了很多定制原创 2013-10-14 16:00:32 · 1147 阅读 · 0 评论 -
Google experiment infrastructure 阅读心得
背景Google 的文化就是数据驱动:不停实验,不断得到实验结果进行分析并进行改进,这样就会导致所有R&D(Researcher&Developer)都会有不断实验的冲动和需求。这就对实验框架提出了文中重点描述的三个需求:1. More: 更多能够同时进行的实验2. Better:不合法的实验不能在框架中实验, 而合法的实验, 但如果效果不佳, 则应该能够被原创 2011-07-11 14:50:39 · 3000 阅读 · 0 评论 -
关键词推荐系统架构
在百度做关键词推荐系统3年多, 以前更多是从工程, 以及解决用户需求的角度去考虑系统的实现。 大概一年前开始系统地学习业界推荐系统相关的内容并对照自己手头的工作。 当时就画了以下系统结构图, 算是对百度关键词系统(KR: Keyword Recommendation)中主动推荐(主动push结果给客户)的一个总结。系统逻辑图如下:qiang当中包含以下几个重要步骤:原创 2013-10-14 16:20:27 · 4138 阅读 · 0 评论 -
关键词推荐工具中的用户引导机制之二:suggestion架构
在《关键词推荐工具中的用户引导机制之一》 我们分析了用户用到机制对搜索引擎/关键词工具的重要性,同时也提到按照用户在搜索引擎/或者关键词工具上交互的阶段,可以按交互前,交互中和交互后为用户分别提供种子query,suggestion和相关搜索词对用户进行引导。 种子query是比较经典的推荐问题, 对于‘相关搜索’,后续会有博文专门介绍, 该文以下内容主要介绍如何构造高效的suggestion服务。包括架构及内部检索逻辑。原创 2013-10-17 14:11:15 · 3050 阅读 · 0 评论 -
epoll机制在搜索引擎spider中的应用
本文将介绍epoll的概念,原理, 优点,及使用接口,同时结合作者在搜索引擎spider开发中epoll使用方式的代码向大家具体介绍epoll的使用方式。P.S. 笔者08年曾有使用epoll编写未考虑压力控制的crawler,将国内著名票务网站压垮并在boss的带领下登门道歉的经历:) 足见epoll的强悍!原创 2013-10-23 20:38:02 · 1148 阅读 · 0 评论