介绍
数据加载从部署的角度来讲分为三部分:
数据分发服务端程序(dispserver)
数据客户端(gbloader)
数据分发客户端程序(dispcli)
其中数据分发服务端程序器采用类似 FTP 服务器的方式来工作,但是不同 之处在于,其为客户端提供的是虚拟文件服务。所谓虚拟文件是指在 1 个或多 个物理文件的基础上经过重新切分生成的一种数据实体。例如,有 3 个需要装 入 lineorder 表的数据文件,而目标节点有两个,则服务器会把这个 3 个物理 文件按照既定规则重新切分为两个虚拟文件,而数据客户端在向分发服务器读 取数据时,使用的是虚拟文件 ID 来标识它所请求的文件。
数据分发服务端程序和其客户端程序之间采用命令方式来通讯,并由数据 分发客户端程序(dispcli)通过 gcluster 启动和监控数据客户端(gbloader)。 数据分发客户端读取用户指定的分发任务列表文件,根据文件的配置启动相应 的分发过程和相应节点上的 gbloader,gbloader 再根据命令行参数连接到数据 分发服务器,并请求数据,执行导