Architecture
JerryDeng
这个作者很懒,什么都没留下…
展开
-
RabbitMQ
1 什么是RabbitMQ?RabbitMQ是实现AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然: 单向解耦 双向解耦(如:RPC) 例如一个日志系统,很容易使用RabbitM转载 2014-01-24 15:35:21 · 1162 阅读 · 0 评论 -
node.js
说明:使用CentOS系统,进行nodejs安装,nodejs版本-v0.8.7。 1,先下载nodejs:# wget http://nodejs.org/dist/v0.8.7/node-v0.8.7.tar.gz 2,解压文件# tar xvf node-v0.8.7.tar.gz 3,进入解压目录# cd node-v0.8.7 4,检查转载 2013-10-26 11:32:45 · 693 阅读 · 0 评论 -
Struts2架构
Struts2的核心功能是action,对于开发人员来说,使用Struts2主要就是编写action,action类通常都要实现com.opensymphony.xwork2.Action接口,并实现该接口中的execute()方法。该方法如下: public String execute() throws ExceptionStruts2并不是要求所有编写的act转载 2013-12-01 00:14:15 · 574 阅读 · 0 评论 -
HBase-River-to-Elasticsearch
简介 hbase 数据导入到 Elasticsearch。思想是朴素的,实现是简单的,一切从简。总的来说3步: 2014/06/19 > HBase-River-to-Elasticsearch > QQ图片20140619133043.jpg" src="http://wiki.yeepay.com/download/attachments/22840044/QQ%E5%原创 2014-06-19 13:50:22 · 1349 阅读 · 1 评论 -
大数据灵活查询的一个思路
查询平台意义在于解决实时的多维度关联查询,整体对外以JSON方式交互以及提供功能。具体实现: 在服务端接受到json请求后,交给查询组件doggie-search-engine实现,具体实现细节见Doggie-Search-Engine。version1.0采用的架构:原创 2014-06-19 13:52:08 · 1767 阅读 · 1 评论 -
查询组件
查询组件原创 2014-06-18 11:56:09 · 884 阅读 · 1 评论 -
一个09年诞生的与众不同的数据分片思想(未完待续)
好久看Blog了。最近都做了什么???啊,搞系统的孩纸,最近在做web page的提取。想想这个风险还是小于支付系统的,哈哈。大家都知道架构一直是根据需求来的,所以还是那句话,适合的才是最好的。架构主要还是要考虑是否符合业务需求,架构可扩展性,复杂度。。经eBay架构师介绍,了解了一下颠覆常规的的数据分片的知识。这种sharding system,这种思想不同于曾经用于的s原创 2014-02-18 21:25:24 · 786 阅读 · 0 评论 -
分布式爬虫系统
写在前面:1. 整个爬虫系统,简介:采用Thrift,Netty作为模块通信和网络通信,使用Zookeeper实现分布式管理,底层存储使用HBase。2. 动静结合爬取模块实现方式。3. 智能提取算法,相似性算法,PageRank算法等,实现爬取策略,爬取调度。4. 可扩展性,a.对于主题爬虫(垂直爬虫),站点爬虫灵活充分转变。b. 爬虫性能水平扩展。5. 爬取状态监控。-原创 2014-12-06 17:05:39 · 1518 阅读 · 0 评论