fourinone学习笔记一(上手demo)

最新推荐文章于 2021-03-02 14:38:50 发布
最新推荐文章于 2021-03-02 14:38:50 发布
阅读量816 收藏
点赞数
分类专栏： 架构 文章标签： 分布式计算 任务 工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/retacn_yue/article/details/7945777
版权
fourinone 实现分布式计算
   一种工头链式结合工人并行的计算结果简化分布式计算
simpleCror:工头实现,实现giveTask, 通过getWaitingWorkers获取线上工人节点
           工人节点为一个独立的进程，一台机器可以布署一个也可以布署多个
           调用工人的doTask方法完成工作，当多个任务分配给多个工人完成时，
           他们之间是并行的
simpWorker: 工人实现类，实现doTask接口,从wareHouse获取工头传入的参数,
             输入输出类型为wareHouse，是一个map结构，可以放置任何对象

parkServerDemo: 负责分布式计算过程的协同服务.

注：在示例代码中，配置文件config.xml，放到与src同级目录

retacn
关注
专栏目录
fourinone源代码分析
01-17
fourinone是一款分布式协调服务框架，它的设计思路是将任务分配者（工头）和任务执行者（工人）通过一个协调者（职介所）进行连接，实现任务的分布式处理。这个框架的核心概念包括工头进程、工人进程以及职介所服务...
fourinone配置文件
07-30
fourinone号称了集成了hadoop,zk,memcache,mq于一身的四不像超级神器，致力于分布式应用。别的我不懂，今儿聊一下fourinone中的分布式缓存以及分布式文件系统，说到分布式，不得不用到网络通讯，不得不提及RPC，...
用淘宝Fourinone实现Hadoop经典实例wordcount
weixin_33831196的博客
12-05 107
2019独角兽企业重金招聘Python工程师标准>>> ...
<三>基于Fourinone实现统一配置管理demo
weixin_34185320的博客
08-30 115
2019独角兽企业重金招聘Python工程师标准>>> ...
<四>基于Fourinone实现集群管理demo
weixin_33907511的博客
09-21 193
对于像淘宝这样上万台服务器集群环境的大型互联网应用, 通常我们面临这样一种需求: 我们需要一个集群管理者管理集群里的服务器，同一个集群中任何一台服务器宕机,其他服务器都能感知. 如果是集群管理者宕机，集群中所有的服务器不能受任何影响，能实时切换到备份管理者上被提供服务。 这个demo演示了如何利用fourinone在简单几行代码下去实现上述功能 GroupM...
分布式系统fourinone 第一步，跑个hello Demo呀
疯子的博客
10-19 636
分布式系统fourinone上手 这篇文章就是记载一下自己跑Demo的过程；搞了好久，果然还是我太菜了；前面几天没有跑出来最后找到原因固然是在敲demo代码的时候敲错了，真是令人头大。这边的步骤参考了同学的文章，很感谢，后面有链接；我这边的环境配置，windows10系统；JDK1.8.0； 1.首先嘛先下载源码嘛，github上面可以找到github:fourinone源码；我直接下载了4.17...
学习资料：淘宝分布式并行计算四合一框架Fourinone
最新发布
09-05
学习资料：淘宝分布式并行计算四合一框架Fourinone 内容：淘宝分布式并行计算四合一框架Fourinone详细介绍；源码分析及使用说明；Fourinone分布式计算框架性能、压力、容灾测试报告；框架压缩包 本示例把分配任务的...
大数据与云计算培训学习资料 Fourinone实现分布式计算 共3页.pdf
03-20
1. **统一配置管理**：通过提供的指南和demo，学习者可以了解如何利用Fourinone进行统一配置管理，确保集群中各个节点的配置一致性。 2. **分布式计算上手**：针对初学者，有专门的上手指南和示例代码，帮助理解...
fourinone-master.zip
10-22
"四不像"（FourInOne）是淘宝开发的一款轻量级分布式系统框架，它以其小巧精悍的特性深受开发者喜爱，成为学习分布式系统的重要参考资料。本篇文章将围绕"fourinone-master.zip"这个压缩包，深入剖析四不像的核心...
fourinone-2.05.28.rar
05-15
淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程API，实现对多台计算机CPU，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式（农民工/包工头/职介绍/手工仓库）用于利用多机多核CPU的计算能力；提供完整的分布式缓存和小型缓存用于利用多机内存能力；提供像操作本地文件一样操作远程文件（访问，并行读写，拆分，排它，复制，解析，事务等）用于利用多机硬盘存储能力；由于多计算机物理上独立，Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能，用于实现多机的协作和通讯。 fourinone-2.05.28\fourinone2.0 .................\............\config.xml .................\............\fourinone-2.05.28-src.jar .................\............\fourinone-2.05.28.jar .................\............\指南和demo .................\............\..........\MQ demo .................\............\..........\.......\MQ demo.txt .................\............\..........\.......\ParkServerDemo.java .................\............\..........\.......\Publisher.java .................\............\..........\.......\Receiver.java .................\............\..........\.......\Sender.java .................\............\..........\.......\Subscriber.java .................\............\..........\WordCount .................\............\..........\.........\inputdata.txt .................\............\..........\.........\ParkServerDemo.java .................\............\..........\.........\WordCount.txt .................\............\..........\.........\WordcountCT.java .................\............\..........\.........\WordcountWK.java .................\............\..........\分布式文件访问和操作demo .................\............\..........\........................\FttpBatchWriteReadDemo.java .................\............\..........\........................\FttpCopyDemo.java .................\............\..........\........................\FttpMulCopyDemo.java .................\............\..........\........................\FttpMulWriteReadDemo.java .................\............\..........\........................\FttpOperateDemo.java .................\............\..........\........................\FttpParseDemo.java .................\............\..........\........................\FttpRo
Fourinone分布式并行计算四合一框架
06-12
　　Fourinone(中文名字“四不像”)是一个四合一分布式计算框架，在写这个框架之前，我对分布式计算进行了长时间的思考，也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算，把更多的cpu和内存利用上，来解决我们数量大和计算复杂的问题，当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷，为什么一切会那么复杂，我觉的自己可以写一个更简单的东西，它不需要过度设计，只需要看上去更酷一点，更小巧一点，功能更强一点。于是我将自己对分布式的理解融入到这个框架中，考虑到底层实现技术的相似性，我将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内，对复杂的分布式计算应用进行了大量简化和归纳。 　　首先，对分布式协同方面，它实现了Zookeeper所有的功能，并且做了很多改进，包括简化Zookeeper的树型结构，用domain/node两层结构取代，简化Watch回调多线程等待编程模型，用更直观的容易保证业务逻辑完整性的内容变化事件以及状态轮循取代，Zookeeper只能存储信息不大于1M的内容，Fourinone超过1M的内容会以内存隐射文件存储，增强了它的存储功能，简化了Zookeeper的ACL权限功能，用更为程序员熟悉rw风格取代，简化了Zookeeper的临时节点和序列节点等类型，取代为在创建节点时是否指定保持心跳，心跳断掉时节点会自动删除。Fourinone是高可用的，没有单点问题，可以有任意多个复本，它的复制不是定时而是基于内容变更复制，有更高的性能，Fourinone实现了领导者选举算法(但不是Paxos)，在领导者服务器宕机情况下，会自动不延时的将请求切换到备份服务器上，选举出新的领导者进行服务，这个过程中，心跳节点仍然能保持健壮的稳定性，迅速跟新的领导者保持心跳连接。基于Fourinone可以轻松实现分布式配置信息，集群管理，故障节点检测，分布式锁，以及淘宝configserver等等协同功能。 　　其次, Fourinone可以提供完整的分布式缓存功能。如果对一个中小型的互联网或者企业应用，仅仅利用domain/node进行k/v的存储即可，因为domain/node都是内存操作而且读写锁分离，同时拥有复制备份，完全满足缓存的高性能与可靠性。对于大型互联网应用，高峰访问量上百万的并发读写吞吐量，会超出单台服务器的承受力，Fourinone提供了fa?ade的解决方案去解决大集群的分布式缓存，利用硬件负载均衡路由到一组fa?ade服务器上，fa?ade可以自动为缓存内容生成key，并根据key准确找到散落在背后的缓存集群的具体哪台服务器，当缓存服务器的容量到达限制时，可以自由扩容，不需要成倍扩容，因为fa?ade的算法会登记服务器扩容时间版本，并将key智能的跟这个时间匹配，这样在扩容后还能准确找到之前分配到的服务器。另外，基于Fourinone可以轻松实现web应用的session功能，只需要将生成的key写入客户端cookie即可。 　　Fourinone对于分布式大数据量并行计算的解决方案不同于复杂的hadoop，它不像hadoop的中间计算结果依赖于hdfs，它使用不同于map/reduce的全新设计模式解决问题。Fourinone有“包工头”，“农民工”，“手工仓库”的几个核心概念。“农民工”为一个计算节点，可以部署在多个机器，它由开发者自由实现，计算时，“农民工”到“手工仓库”获取输入资源，再将计算结果放回“手工仓库”返回给“包工头”。“包工头”负责承包一个复杂项目的一部分，可以理解为一个分配任务和调度程序，它由开发者自己实现，开发者可以自由控制调度过程，比如按照“农民工”的数量将源数据切分成多少份，然后远程分配给“农民工”节点进行计算处理，它处理完的中间结果数据不限制保存在hdfs里，而可以自由控制保存在分布式缓存、数据库、分布式文件里。如果需要结果数据的合并，可以新建立一个“包工头”的任务分配进行完成。多个“包工头”之间进行责任链式处理。总的来说，是将大数据的复杂分布式计算，设计为一个链式的多“包工头”环节去处理，每个环节包括利用多台“农民工”机器进行并行计算，无论是拆分计算任务还是合并结果，都可以设计为一个单独的“包工头”环节。这样做的好处是，开发者有更大能力去深入控制并行计算的过程，去保持使用并行计算实现业务逻辑的完整性，而且对各种不同类型的并行计算场景也能灵活处理，不会因为某些特殊场景被map/reduce的框架限制住思维，并且链式的每个环节也方便进行监控过程。 　　Fourinone也可以当成简单的mq来使用，将domain视为mq队列，每个node为一个队列消息，监控domain的变化事件来获取队列消息。也可以将domain视为订阅主题，将每个订阅者注册到domain的node上，发布者将消息逐一更新每个node，订阅者监控每个属于自己的node的变化事件获取订阅消息，收到后删除内容等待下一个消息。但是Fourinone不实现JMS的规范，不提供JMS的消息确认和消息过滤等特殊功能，不过开发者可以基于Fourinone自己去扩充这些功能，包括mq集群，利用一个独立的domain/node建立队列或者主题的key隐射，再仿照上面分布式缓存的智能根据key定位服务器的做法实现集群管理。 　　Fourinone整体代码短小精悍，跟Hadoop, Zookeeper, Memcache, ActiveMq等开源产品代码上没有任何相似性，不需要任何依赖，引用一个jar包就可以嵌入式使用，良好支持window环境，可以在一台机器上模拟分布式环境，更方便开发。 　　开发包里自带了一系列傻瓜上手demo，包括分布式计算、统一配置管理、集群管理、分布式锁、分布式缓存、MQ等方面, 每个demo均控制在少许行代码内，但是涵盖了Fourinone主要的功能，方便大家快速理解并掌握。 　　Fourinone 2.0新增功能: 　　Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问，并行读写，拆分，排它，复制，解析，事务等)用于利用多机硬盘存储能力;由于多计算机物理上独立，Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能，用于实现多机的协作和通讯。 　　一、提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来，通过统一的fttp文件路径访问，如: 　　windows：fttp://v020138.sqa.cm4/d:/data/a.log 　　linux：fttp://v020138.sqa.cm4/home/user/a.log 　　比如以这样的方式读取远程文件： 　　FttpAdapter fa = FttpAdapter("fttp://v020138.sqa.cm4/home/log/a.log"); 　　fa.getFttpReader().readAll(); 　　提供对集群文件的操作支持，包括： 　　1、元数据访问，添加删除，按块拆分, 高性能并行读写，排他读写(按文件部分内容锁定)，随机读写，集群复制等 　　2、对集群文件的解析支持(包括按行，按分割符，按最后标识读取) 　　3、对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快) 　　4、两阶段提交和事务补偿处理 　　5、自带一个集群文件浏览器，可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制) 　　总的来说, 将集群看做一个操作系统，像操作本地文件一样操作远程文件。 　　但是fourinone并不提供一个分布式存储系统，比如文件数据的导入导出、拆分存储、负载均衡，备份容灾等存储功能，不过开发人员可以利用这些api去设计和实现这些功能，用来满足自己的特定需求。 　　二、自动化class和jar包部署 　　class和jar包只需放在工头机器上， 各工人机器会自动获取并执行，兼容操作系统，不需要进行安全密钥复杂配置 　　三、网络波动状况下的策略处理，设置抢救期，抢救期内网络稳定下来不判定结点死亡 　　本软件由www.gg265.net www.fmrpg.com站长提供
<二>基于Fourinone实现分布式计算完整demo
weixin_34361881的博客
09-07 131
我们现实中的分布式计算存在多个环节，比如有的任务拆分，有的计算结果合并，或者是多个拆分和合并，他们之间是串行关系，也就是合并必须等待拆分和计算完成才能进行，同时每个拆分或者合并的任务又都是并行的过程。 CtorDemo：是包含了3个工头实例，对应3个环节，链式处理，实现过程获取到线上工人节点，进行调用，所有的分配任务和中间结果存储都由自己实现处理。 这里简单的将20条...
FourInOne初识
phn_csdn的博客
04-18 1438
1、概述FourInOne（中文名字“四不像”）是一个四合一分布式计算框架 。将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内，对复杂的分布式计算应用进行了大量简化和归纳。在分布式协同方面，实现了Zookeeper所有的功能，简化Zookeeper的树型结构，用domain/node两层结构取代，简化Watch回调多线程等待编程模型，用更直观的容易保证业务逻
统一配置管理java_<三>基于Fourinone实现统一配置管理demo
weixin_35838019的博客
03-02 167
在分布式多台机器环境下,维持统一的配置信息是最常见的需求, 当配置信息改变时,所有的机器能实时获取并更新。fourinone通过park进行配置信息管理，park提供创建和修改信息的方法，并支持轮循和事件响应两种方式获取变化的对象，两种方式的效果一样。SetConfig：在parkserver上建立一个“domain=浙江、node=杭州、value=西湖”的配置信息，并且在10秒后把“西湖”改为...
<一>基于Fourinone实现分布式计算上手指南和demo
09-14 138
本demo用最简洁的代码示范fourinone如何进行分布式计算，fourinone采用一种工头链式结合工人并行的计算结构简化分布式计算，能够通俗易懂并能深入控制整个计算过程 [img]http://dl.iteye.com/upload/attachment/0074/7031/9e2e7c78-8f36-36a9-9fed-1301871793b0.png[/img] Sim...
跑Fourinone的分布式计算Demo出现的问题解决
老杨的专栏
06-16 1134
最近使用了一下淘宝的Fourinone分布式计算框架，网上下下来的包里面包含了很多的Demo程序，为了满足一下好奇心就试着跑了几个Demo，下面就为了让它跑起来过程当中遇到的一些问题，做一下说明。 1、WordCount Demo   这个demo是Hadoop这个分布式计算框架里面带的一个demo，这么经典的一个Demo，当然fourinone也带了。下面是这个demo的结构图：
写给fourinone的用户
zhh5919的专栏
05-06 791
fourinone号称了集成了hadoop,zk,memcache,mq于一身的四不像超级神器，致力于分布式应用。别的我不懂，今儿聊一下fourinone中的分布式缓存以及分布式文件系统，说到分布式，不得不用到网络通讯，不得不提及RPC，fourinone号称只有100多K，不依赖任何第三方jar，那通讯怎么玩啊！自己用socket或者NIO实现，要知道用NIO实现一个网络通讯框架是很考验技术功底
开源公司黄页 关于/ 阿里巴巴的50款开源软件[大部分为Java语言]
热门推荐
一个有趣、有料、有内涵的地方!
06-23 13万+
服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。  JDBC连接池、监控组件 DruidDruid是一个JDBC组件，它包括三部分：   代理Driver，能够提供基于Filter－Chain模式的插件体系。 D
淘宝Fourinone框架：分布式并行计算详解与性能测试
四合一框架Fourinone是淘宝开发的一个用于简化分布式并行计算的Java框架。它综合了多种分布式计算的模式和功能，提供了统一的API接口，使得开发者可以更加方便地构建和管理分布式应用。以下是对标题、描述中提到的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值