分布式文件
文章平均质量分 63
fourinone
这个作者很懒,什么都没留下…
展开
-
操作分布式文件之一:如何搭建配置FttpAdapter环境
FttpAdapter的使用很简单,在每台计算机上启动一个FttpServer即可,另外需要启动一个ParkServer负责协同。ParkServer也可以和其中一个FttpServer放在相同计算机上1、启动ParkServerDemo(它的IP端口已经在配置文件的PARK部分的SERVERS指定)2、每台计算机启动FttpServer,需要指定该计算机的ip为输入参数启动好后,然后原创 2012-05-29 15:27:05 · 698 阅读 · 0 评论 -
CoolHash数据库的产品宣言(Fourinone4.0版)
Fourinone4.0版新特性:一个高性能的数据库引擎CoolHash(酷哈嘻)[b]一、前言:如何写一个数据库[/b]如果将操作系统和业务应用之间的软件都统称中间件的话,那么最重要的软件无疑是数据库,它比web应用服务器市场更大,几乎所有的业务系统都需要数据库,所有的企业都会购买数据库。无论是早期的商业智能也好,数据分析挖掘也好,近年的分布式存储也好,大数据也好...围绕数据变着花...2014-05-06 21:29:34 · 125 阅读 · 0 评论 -
淘宝分布式框架Fourinone2.0正式版发布
淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api,实现对多台计算机cpu,内存,硬盘的统一利用,从而获取到强大计算能力去解决复杂问题。Fourinone框架提供了一系列并行计算模式(农民工/包工头/职介绍/手工仓库)用于利用多机多核cpu的计算能力;提供完整的分布式缓存和小型缓存用于利用多机内存能力;提供像操作本地文件一样操作远程文件(访问,并行读写,拆分,排它,复制,...2012-06-04 11:03:05 · 123 阅读 · 0 评论 -
Fourinone2.0对分布式文件的简化操作
Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中,FttpAdapter提供对远程文件的操作,FileAdapter提供对本地文件的操作,两者api和使用相似,这里主要说明FttpAdapter:FttpAdapter提供了对分布式文件的便利操作, 将集群中所有机器的硬盘资源利用起来,通过统一的fttp文件路径访问,并且windows和l...原创 2012-05-30 14:17:08 · 324 阅读 · 0 评论 -
操作分布式文件之八:如何批量并行读写远程文件和事务补偿处理
FileBatch类提供了一系列对批量并行读写操作支持(包括对FttpAdapter和FileAdapter),它跟并行读写的区别是不需要检查结果,会等到所有并行读写任务全部完成才返回,并在发生异常时提供事务补偿支持。 1、批量并行读:public Result<byte[]>[] readAllBatch(TryByteReadAdapter[] fras)实现对多个Fttp...2012-05-30 13:51:23 · 111 阅读 · 0 评论 -
操作分布式文件之七:如何并行读写远程文件
FttpAdapter是通过FttpReadAdapter的tryReadAll方法进行并行读FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");Result<byte[]> rs = fa.getFttpReader().tryReadAll(); 调用tryReadAll会立即返回一...2012-05-30 13:37:39 · 129 阅读 · 0 评论 -
操作分布式文件之六:如何解析远程文件
假设通过FttpAdapter已经读取到远程文件中一部分数据,如下:FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");FttpReadAdapter reader = fa.getFttpReader();byte[] bts = reader.readAll();上面得到一个byte数组,那么如何解...原创 2012-05-30 11:55:36 · 75 阅读 · 0 评论 -
操作分布式文件之五:如何读写远程文件
FttpAdapter是通过FttpReadAdapter来直接读取远程文件内容FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/log/1.log");FttpReadAdapter reader = fa.getFttpReader();byte[] bts = reader.readAll();上面是读取整个文件的...2012-05-29 15:02:09 · 245 阅读 · 0 评论 -
操作分布式文件之四:如何进行集群内文件复制和并行复制
集群文件复制是经常面临的需求,比如备份容灾,文件迁移,同步数据等等FttpAdapter提供了简单高效的文件复制方法,支持远程文件的集群内复制FttpAdapter fromfile = new FttpAdapter("fttp://10.232.20.151/home/log/a.log");FttpAdapter tofile = fromfile.copyTo("fttp://10....2012-05-29 14:56:29 · 226 阅读 · 0 评论 -
操作分布式文件之三:如何访问和操作远程文件
FttpAdapter fa = new FttpAdapter("fttp://10.232.20.151/home/qianfeng.py/fttp/tmp/1.log");上面实例化一个FttpAdapter类,并输入一个fttp路径,可以是一个目录路径,也可以是个文件路径FttpAdapter类提供了一系列访问远程文件的方法:createDirectory和createFile方法分别...2012-05-29 14:49:31 · 145 阅读 · 0 评论 -
操作分布式文件之二:如何访问集群文件根目录
启动成功FttpServer后,可以使用FttpAdapter的api进行相关操作:FttpAdapter.fttpRoots()是一个静态方法,可以得到集群文件系统根目录,它返回一个String数组,通常是ip字符对应每台计算机。 listRoots()方法可以得到每台计算机上的硬盘目录,比如: FttpAdapter fa = new FttpAdapter("fttp://"+fttp...2012-05-29 14:43:41 · 182 阅读 · 0 评论 -
操作分布式文件之一:如何搭建配置FttpAdapter环境
FttpAdapter的使用很简单,在每台计算机上启动一个FttpServer即可,另外需要启动一个ParkServer负责协同。ParkServer也可以和其中一个FttpServer放在相同计算机上1、启动ParkServerDemo(它的IP端口已经在配置文件的PARK部分的SERVERS指定)2、每台计算机启动FttpServer,需要指定该计算机的ip为输入参数启动好...原创 2012-05-29 14:40:18 · 124 阅读 · 0 评论 -
CoolHash数据库引擎压测对比报告
Coolhash当前性能指标:读写吞吐量超过百万,千万级别查询1秒完成,连续48小时打满CPU强压力运行稳定。redis官方公布读写性能在10万tps,leveldb官方公布写性能在40万tps,读在6万tps,redis和leveldb都是倾向k/v高速读写,但不具备高效检索功能,没有join关联设计。coolhash可以拿去pk世界上任何的数据库引擎产品。下面以redis为例进行了详细测试和...原创 2014-07-09 21:09:05 · 136 阅读 · 0 评论