![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式文件系统
文章平均质量分 51
fourinone
这个作者很懒,什么都没留下…
展开
-
操作分布式文件之三:如何访问和操作远程文件
FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/qianfeng.py/fttp/tmp/1.log");上面实例化一个FttpAdapter类,并输入一个fttp路径,可以是一个目录路径,也可以是个文件路径FttpAdapter类提供了一系列访问远程文件的方法:createDirectory和createFile原创 2012-05-29 15:29:38 · 495 阅读 · 0 评论 -
分布式计算互相sayhello
假设你已经看过分布式计算上手demo指南,对fourinone基本的分布式并行计算方式有了初步了解。本demo演示了工头和几个工人之间互相sayhello的简单例子,从而了解到集群计算节点之间互相交互,以及工头批量处理和工人互相传递数据(多用于合并)的功能。HelloCtor:是一个工头实现,它实现giveTask接口,它首先通过getWaitingWorkers获取到一个线上工人原创 2012-08-27 09:59:54 · 816 阅读 · 0 评论 -
操作分布式文件之六:如何解析远程文件
假设通过FttpAdapter已经读取到远程文件中一部分数据,如下:FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");FttpReadAdapter reader = fa.getFttpReader();byte[] bts = reader.readAll();上面得到一个byte数组原创 2012-05-29 15:33:24 · 360 阅读 · 0 评论 -
操作分布式文件之二:如何访问集群文件根目录
启动FttpAdapter后,可以使用它的api进行相关操作:FttpAdapter.fttpRoots()是一个静态方法,可以得到集群文件系统根目录,它返回一个String数组,通常是ip字符对应每台计算机。listRoots()方法可以得到每台计算机上的硬盘目录,比如:FttpAdapter fa = new FttpAdapter("fttp://"+fttproots[i]);原创 2012-05-29 15:28:43 · 968 阅读 · 0 评论 -
Fourinone 分布式框架 2.0 正式版发布
Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,解析原创 2012-05-29 15:49:46 · 930 阅读 · 0 评论 -
Fourinone2.0对分布式文件的简化操作
Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter:FttpAdapter提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,如:windows:f原创 2012-05-29 15:45:45 · 633 阅读 · 0 评论 -
操作分布式文件之八:如何批量并行读写远程文件和事务补偿处理
FileBatch类提供了一系列对批量并行读写操作支持(包括对FttpAdapter和FileAdapter),它跟并行读写的区别是不需要检查结果,会等到所有并行读写任务全部完成才返回,并在发生异常时提供事务补偿支持。1、批量并行读:public Result[] readAllBatch(TryByteReadAdapter[] fras)实现对多个FttpReadAdapter任务原创 2012-05-29 15:35:15 · 867 阅读 · 0 评论 -
操作分布式文件之七:如何并行读写远程文件
FttpAdapter是通过FttpReadAdapter的tryReadAll方法进行并行读FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");Result rs = fa.getFttpReader().tryReadAll();调用tryReadAll会立即返回一个Result,但是不能马原创 2012-05-29 15:34:18 · 762 阅读 · 0 评论 -
操作分布式文件之五:如何读写远程文件
FttpAdapter是通过FttpReadAdapter来直接读取远程文件内容FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");FttpReadAdapter reader = fa.getFttpReader();byte[] bts = reader.readAll();上面是读取整原创 2012-05-29 15:32:14 · 476 阅读 · 0 评论 -
操作分布式文件之四:如何进行集群内文件复制和并行复制
集群文件复制是经常面临的需求,比如备份容灾,文件迁移,同步数据等等FttpAdapter提供了简单高效的文件复制方法,支持远程文件的集群内复制FttpAdapter fromfile = new FttpAdapter("fttp://10.232.20.151/home/log/a.log");FttpAdapter tofile = fromfile.copyTo("fttp://原创 2012-05-29 15:30:26 · 653 阅读 · 0 评论 -
分布式计算多机部署与配置
在分布式计算上手demo指南,分布式计算sayhello,分布式计算完整demo中,对于工人(worker)、工头(ctor),parkserver在多台计算机上的部署和配置:每台计算机放置实现类,fourinone.jar,config.xml文件即可,parkserver的ip配置要保持一致(也可以用域名)假设有192.0.0.1,192.0.0.2,192.0.0.3三台计算机:原创 2012-08-27 10:09:23 · 1409 阅读 · 0 评论