- 博客(12)
- 资源 (4)
- 收藏
- 关注
淘宝Fourinone和Hadoop的完整对比
fourinone-1.11.09hadoop-0.21.0体积82K71M依赖关系就一个jar,没有依赖约12项jar包依赖配置就一个配置文件较多配置文件和复杂属性集群搭建简单,每台机器放一个jar和配置文件...
2011-12-07 11:50:28 85
用淘宝Fourinone实现Hadoop经典实例wordcount
很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分割的1k单词组)不断复制组成。输出数据:输出这n*1g个数据文件中的每个单词总数fourinone简单实现思路,假设有n台计算机,将这n个1g数据文件...
2011-12-07 11:46:35 109
<七>基于淘宝Fourinone实现MQ demo
FourInOne也可以当成简单的mq来使用,该demo演示了队列和主题订阅两种模式的实现一、队列 将domain视为mq队列,每个node为一个队列消息,检查domain的变化来获取队列消息。 Sender:是一个队列发送者,他发送消息的实现是在queue上创建一个匿名节点来存放消息 pl.create(queue, (Serializable)obj);Receiv...
2011-12-07 11:36:34 97
原创 <六>基于淘宝Fourinone实现分布式缓存demo
利用fourinone可以轻松实现分布式缓存功能:1、中小应用的缓存实现:直接启动一个parkserver,分别在两个java进程中使用ParkLocal的create和get方法即可实现缓存的读写操作。2、如果是大型网站的缓存,单台parkserver的压力不能承受,需要建立多台CacheServer,并且使用CacheFacade进行负载均衡,CacheFacade会根据key...
2011-12-07 11:34:31 155
<五>基于淘宝Fourinone实现分布式锁demo
LockDemo是利用fourinone进行分布式锁的实现: 可以启动多个LockDemo实例,每个实例在fourinone上建立一个自己的node, node的domain为lock, node的值为node 然后再轮循判断domain lock的第一个元素是否是自己的node,如果是,就执行,这里模拟线程执行8秒,执行完将自己的node删除,代表释放锁;如果不是,就继续等待。 ...
2011-12-07 11:19:34 144
原创 淘宝Fourinone和Hadoop的完整对比
fourinone-1.11.09hadoop-0.21.0体积82K71M依赖关系就一个jar,没有依赖约12项jar包依赖配置就一个配置文件较多配置文件和复杂属性集群搭建简单,每台机器放一个jar和配置文件复
2011-12-05 15:23:11 1050
原创 用淘宝Fourinone实现Hadoop经典实例wordcount
很多人是通过wordcount入门分布式并行计算, 该demo演示了Hadoop的经典实例wordcount的实现输入数据:n个数据文件,每个1g大小,为了方面统计,每个文件的数据由“aaa bbb ... ccc”(由空格分割的1k单词组)不断复制组成。输出数据:输出这n*1g个数据文件中的每个单词总数fourinone简单实现思路,假设有n台计算机,将这n个1g数据文件放置在每台计
2011-12-05 15:08:35 856
原创 <七>基于淘宝Fourinone实现MQ指南和demo
FourInOne也可以当成简单的mq来使用,该demo演示了队列和主题订阅两种模式的实现一、队列将domain视为mq队列,每个node为一个队列消息,检查domain的变化来获取队列消息。Sender:是一个队列发送者,他发送消息的实现是在queue上创建一个匿名节点来存放消息pl.create(queue, (Serializable)obj);Receiver:是一个队
2011-12-05 13:51:17 600
原创 <六>基于淘宝Fourinone实现分布式缓存指南和demo
利用fourinone可以轻松实现分布式缓存功能:1、中小应用的缓存实现:直接启动一个parkserver,分别在两个java进程中使用ParkLocal的create和get方法即可实现缓存的读写操作。2、如果是大型网站的缓存,单台parkserver的压力不能承受,需要建立多台CacheServer,并且使用CacheFacade进行负载均衡,CacheFacade会根据key自动寻找
2011-12-05 13:49:38 550
原创 <五>基于淘宝Fourinone实现分布式锁指南和demo
LockDemo是利用fourinone进行分布式锁的实现:可以启动多个LockDemo实例,每个实例在fourinone上建立一个自己的node, node的domain为lock, node的值为node然后再轮循判断domain lock的第一个元素是否是自己的node,如果是,就执行,这里模拟线程执行8秒,执行完将自己的node删除,代表释放锁;如果不是,就继续等待。运行步
2011-12-05 13:46:29 647
原创 <四>基于淘宝Fourinone实现集群管理demo
对于像淘宝这样上万台服务器集群环境的大型互联网应用, 通常我们面临这样一种需求:我们需要一个集群管理者管理集群里的服务器,同一个集群中任何一台服务器宕机,其他服务器都能感知. 如果是集群管理者宕机,集群中所有的服务器不能受任何影响,能实时切换到备份管理者上被提供服务。这个demo演示了如何利用fourinone在简单几行代码下去实现上述功能GroupManager:是一个集
2011-12-05 13:44:41 614
原创 <三>基于淘宝Fourinone实现统一配置管理指南和demo
在分布式多台机器环境下,维持统一的配置信息是最常见的需求, 当配置信息改变时,所有的机器能实时获取并更新。fourinone通过park进行配置信息管理,park提供创建和修改信息的方法,并支持轮循和事件响应两种方式获取变化的对象,两种方式的效果一样。SetConfig:在parkserver上建立一个“domain=浙江、node=杭州、value=西湖”的配置信息,并且在10秒后把“西
2011-12-05 13:41:00 1231
fourinone架构原理
2012-09-19
Fourinone分布式计算框架性能、压力、容灾测试报告
2012-02-27
Fourinone分布式计算框架
2011-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人