GBase 8a 专用数据文件服务器GBFS介绍以及部署

 简介
目前86x系列的集群，加载已经支持了多种数据源，如ftp,http,sftp,hdfs,kafka等数据源。但有些客户出于安全考虑，不能构架通用的FTP和HTTP服务器。而采用SFTP性能又相对较低。因此，就有了一个能更好的与GBase8a加载适配的专用数据文件服务器GBFS诞生。

用户可以通过LOAD SQL中的URL控制加载连接到gbfs数据文件服务器，数据文件服务器向选定参与加载的GNODE结点发送数据。如下所示：

load data infile’gbfs://192.168.x.x:6666//home/gbase/a.tbl’ into table test.tmp fields terminated by ‘|’;

优势介绍
（1）动态负载均衡控制
（2）文件分发功能
（3）定制Gbase8a专用网络协议
（4）数据传输
（5）方便部署，直接使用命令行，即可启动

gbfs部署：
GBFS能够独立部署，配置简单。解压gbfs压缩包，进入gbfs执行目录：
如:[gbase@hd210 gbfs]$tar -jxf gbfs-******tar.gz
:[gbase@hd210 gbfs]$cd gbfs/bin
一、GBFS服务器启动，支持指定端口功能,通过命令行参数 -P&–port
例如：[gbase@hd210 bin]$./gbfs -P6666 或者 ./gbfs --port=6666
注意
gbfs数据文件服务器默认监控端口6666，监听端口范围：1025~65535，如果用户指定端口超出了有效值范围，数据文件服务器报错退出。如：
[gbase@hd210 bin]$./gbfs -P65536
180612 10：39：24【error】Error while setting ‘65536’ to ‘port’

二、GBFS服务器启动，支持指定日志目录功能,通过命令行参数 -L&--log-dir
例如：[gbase@hd210 bin]$./gbfs -P6900 -L/tmp/ 或者 ./gbfs -P6900 --log-dir=/tmp/
**注意**
gbfs会对用户指定的日志目录做写权限检查，如果没有写权限，会启动报错退出。启动成功的会在日志目录下面生成一个gbfs.log，主要记录gbfs启动和数据加载过程信息。

三、GBFS服务器启动，支持指定HOME目录功能,通过命令行参数 -H&--home-dir
例如：[gbase@hd210 bin]$./gbfs -H/home/gbase 或者 ./gbfs  --home-dir=/home/gbase
**注意**
该功能主要用于支持相对路径加载，且不对指定的HOME目录做权限检查，所以请用户自己保证指定的HOME目录至少具有读权限-r。【HOME 默认为当前启动用户的HOME目录】
例如：[gbase@hd210 bin]./gbfs -P6900 -L/tmp/ -H/home/gbase

所以，一般启动命令：./gbfs -P6900 -L/tmp/ -H/home/gbase

相对路径与绝对路径加载示例
示例1: abs_path:
load data infile’gbfs://192.168.x.x:6666//home/gbase/a.tbl’ into table test.tmp fields terminated by ‘|’;

**示例2：** rel_path

复制

load data infile’gbfs://192.168.x.x:6666/a.tbl’ into table test.tmp fields terminated by ‘|’;

对于同一个HOST和PORT的文件列表会被合并成一个file_list下发给gbfs服务器，如：
绝对路径相对路径混合使用
load data infile’gbfs://192.168.x.x:6666//home/gbase/a.tbl,gbfs://192.168.x.x:6666/a.tbl’ into table test.tmp fields terminated by ‘|’;

温馨提示：
数据文件服务器gbfs是部署在任意网路与GBase8a相通的节点上，并且监听该节点的某个端口。加载下发至单机节点后，node通过与Gbase8a专用网络连接至数据文件服务器gbfs,并且注册为读者，数据文件服务器gbfs读取加载文件后，将数据推送到node节点，由node节点解析入库。

支持一个或多个服务器，支持混合路径使用（相对。绝对），通配符，压缩文件加载等等。