- 博客(9)
- 资源 (5)
- 收藏
- 关注
原创 淘宝大数据产品解析之个性化推荐系统离线实时分析系统pora
解析:个性化个性化个性化,目前搜索引擎的方向,各个公司正在或者将要实现的也是必须实现的功能!1.业务场景伴随着市场和技术的发展,个性化已经成为淘宝搜索的一个重要目标。简单来说,个性化就是让每个用户在使用淘宝搜索时都能够获取自己最想要的结果,而不再是千篇一律的展示。实现个性化最直接的手段就是通过分析用户的历史行为日志,为用户打上不同的标签,在搜索中根据这些标签来展示最贴近的结果。在淘
2013-04-13 18:11:01 874
原创 淘宝大数据产品解析之搜索应用平台nimitz介绍
尼米兹(Nimitz)英文原意是航空母舰的意思。在dump中心,是由道凡发起的一个项目,目标是希望nimitz能成为各个搜索小应用提供一个综合平台,可以快速部署各种中小型的搜索引擎服务,可以快速对接淘宝的各个业务库,快速开发海量数据数据的离线处理程序,BUILD索引,方便运维,高可用性。解析:nimitz显然不是淘宝的搜索引擎,是为外部开发者提供的统一索引创建平台,降低与淘宝对接的开发成本。
2013-04-13 18:06:31 1623
原创 淘宝大数据产品解析之基于storm引擎的虫洞系统
虫洞系统是吸星大法项目衍生出来实时计算的基础平台。解析:虫洞系统是基于storm为基础的项目,牵扯到了淘宝自己的应用组件跟storm的整合,应用于实时计算领域这是独立于云梯的另一个大的平台系统,并且方向不同,在这做个简单的应用场景分析虫洞:实时计算,比如当天的流量分析、活动分析、个性化推荐对实时性要求比较高的需求云梯:离线分析,主要应用于离线数据统计,数据挖掘,并且很多分析数据是要
2013-04-13 17:03:10 2168
原创 淘宝大数据解析之timetunnel
1. 下载安装JDK。本文使用的是jdk-7u4-linux-i586.tar.gz。2. 下载apache-maven-3.0.4-bin.tar.gz,解压到目标文件夹:root@ubuntu:/usr/local# tar zvxf apache-maven-3.0.4-bin.tar.gz设置环境变量:root@ubuntu:~# vim /etc/profile在文件
2013-04-13 15:17:19 1946
原创 淘宝大数据产品解析之淘宝数据魔方技术架构(1)
淘宝网拥有国内最具商业价值的海量数据。截至当前,每天有超过30亿的店铺、商品浏览记录,10亿在线商品数,上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值,进而帮助淘宝、商家进行企业的数据化运营,帮助消费者进行理性的购物决策,是淘宝数据平台与产品部的使命。为此,我们进行了一系列数据产品的研发,比如为大家所熟知的量子统计、数据魔方和淘宝指数等。尽管从业务层面来讲,数据产品的研发难
2013-04-02 18:30:55 3238
转载 基于Trie树实现拼音搜索自动补全
原帖:http://itren.diandian.com/archives/104前言目前大多数提供搜索功能的大型网站,都会对用户输入的拼音进行自动补全,推荐一些用户可能感兴趣的词。由于近期自己做的一个项目也要用到此功能,所以打算亲自分析实现一个自动补全功能。需求分析这类应用应当根据不同的场景单独设计,通用的设计未必好用,不过可以择各家之长,按需所取。我的场景是,数据库中存
2013-04-01 17:14:23 3232 1
转载 Solr的自动完成/自动补充实现介绍(第三部分)
原文URL:http://java.dzone.com/news/solr-and-autocomplete-part-3?mz=33057-solr_lucene在之前的两个部分(part1、part2)中,我们学会了如何配置和查询solr来获取自动完成的功能。今天,我们来看一下如果为suggester添加字段,以这种方式来提供自动完成的功能。组件配置在上一期的配置组件中
2013-04-01 11:03:25 1121
转载 Solr的自动完成/自动补充实现介绍(第二部分)
原文链接:Solr and Autocomplete (part 2)在Solr的自动完成/自动补充实现介绍(第一部分)中我介绍了怎么用faceting的机制来实现自动完成(autocomplete)的功能,今天我们来看一下如何用Suggester的组件来实现自动完成功能.开始这里有一点需要提醒:Suggest组件在1.4.1或以下版本不可用。要使用这个组件,你需要
2013-04-01 11:02:33 911
转载 Solr的自动完成/自动补充实现介绍(第一部分)
转自: http://hankesi2000.iteye.com/blog/1134395大部分人已经见过自动完成(autocomplete)的功能了(见下图),solr提供了构建这个功能的机制。今天,我将给你展示如何使用facet的方式来添加自动完成机制。 索引 设想你想在你的在线商店中,给用户一些提示,比如商品的名称。假设我们的索引构建如下:
2013-04-01 11:01:10 845
nutch1.3在myclipse部署工程源码
2011-10-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人