Fourinone2.0对分布式文件的简化操作

Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter:

FttpAdapter提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,并且windows和linux都能支持:

操作系统上的任何目录文件都可以通过添加fttp协议头和ip去访问:
[color=red]fttp://IP或域名/window或linux原有目录文件名[/color]
比如访问windows系统的d:/data/a.log文件:
windows:fttp://192.168.0.1/d:/data/a.log
比如访问linux系统的/home/user/a.log文件:
linux:fttp:// 192.168.0.1/home/user/a.log

获取远程文件内容变的更简单,比如以这样的方式读取远程文件:
FttpAdapter fa = FttpAdapter("fttp://192.168.0.1/home/log/a.log");
fa.getFttpReader().readAll();
这里读取了192.168.0.1这台linux服务器上的/home/log/a.log文件的所有内容

提供对集群文件的操作支持,包括:
1、元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等
2、对集群文件的解析支持(包括按行,按分割符,按最后标识读取)
3、对整形数据的高性能读写支持(ArrayInt比ArrayList存的更多更快)
4、两阶段提交和事务补偿处理
5、自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制)

总的来说, 将集群看做一个操作系统,像操作本地文件一样操作远程文件。

但是fourinone并不提供一个完整的分布式存储系统,比如文件数据的导入导出、拆分存储、负载均衡,备份容灾等存储功能, fourinone只是让完成这项工作变的简单,让开发人员可以利用这些api方便的设计和实现这些功能,用来满足自己的特定需求。

更多介绍请看使用指南:
一、[url="http://fourinone.iteye.com/blog/1543907"]如何搭建配置FttpAdapter环境[/url]
二、[url="http://fourinone.iteye.com/blog/1543920"]如何访问集群文件根目录[/url]
三、[url="http://fourinone.iteye.com/blog/1543925"]如何访问和操作远程文件[/url]
四、[url="http://fourinone.iteye.com/blog/1543936"]如何进行集群内文件复制和并行复制[/url]
五、[url="http://fourinone.iteye.com/blog/1543944"]如何读写远程文件[/url]
六、[url="http://fourinone.iteye.com/blog/1543949"]如何解析远程文件[/url]
七、[url="http://fourinone.iteye.com/blog/1544799"]如何并行读写远程文件[/url]
八、[url="http://fourinone.iteye.com/blog/1544810"]如何批量并行读写远程文件和事务补偿处理[/url]

邮箱:Fourinone@yeah.net
企鹅群:241116021
demo源码指南及开发包下载地址:
http://www.skycn.com/soft/68321.html
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程API,实现对多台计算机CPU,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核CPU的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,解析,事务等)用于利用多机硬盘存储能力;由于多计算机物理上独立,Fourinone框架也提供完整的分布式协同和锁以及简化MQ功能,用于实现多机的协作和通讯。 fourinone-2.05.28\fourinone2.0 .................\............\config.xml .................\............\fourinone-2.05.28-src.jar .................\............\fourinone-2.05.28.jar .................\............\指南和demo .................\............\..........\MQ demo .................\............\..........\.......\MQ demo.txt .................\............\..........\.......\ParkServerDemo.java .................\............\..........\.......\Publisher.java .................\............\..........\.......\Receiver.java .................\............\..........\.......\Sender.java .................\............\..........\.......\Subscriber.java .................\............\..........\WordCount .................\............\..........\.........\inputdata.txt .................\............\..........\.........\ParkServerDemo.java .................\............\..........\.........\WordCount.txt .................\............\..........\.........\WordcountCT.java .................\............\..........\.........\WordcountWK.java .................\............\..........\分布式文件访问和操作demo .................\............\..........\........................\FttpBatchWriteReadDemo.java .................\............\..........\........................\FttpCopyDemo.java .................\............\..........\........................\FttpMulCopyDemo.java .................\............\..........\........................\FttpMulWriteReadDemo.java .................\............\..........\........................\FttpOperateDemo.java .................\............\..........\........................\FttpParseDemo.java .................\............\..........\........................\FttpRo
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值