手动调用gpload进行数据的加载

gpload是并行加载的模式，因此使用gpload加载数据非常快，与语法如下

gpload [options] -f configuration file

Options:
    -h hostname: host to connect to
    -p port: port to connect to
    -U username: user to connect as
    -d database: database to connect to
    -W: force password authentication
    -q: quiet mode
    -D: do not actually load data
    -v: verbose
    -V: very verbose
    -l logfile: log output to logfile
    --gpfdist_timeout timeout: gpfdist timeout value
    --version: print version number and exit
    -?: help

其中configuration文件格式如下：

VERSION: 1.0.0.1
DATABASE: database_name
USER: username
HOST: ip
PORT: 5432
GPLOAD:
  INPUT:
    - SOURCE:
        LOCAL_HOSTNAME:
          - 服务器名称
        PORT: 8829（为该文件指定的端口）
        FILE:
          - /data1/backup/123.txt（需要加载的数据文件）
    - COLUMNS:
        - test: varchar(100)（字段）
    - FORMAT: text （数据文件格式）
    - DELIMITER: '|'（字段分隔符）
    - ERROR_LIMIT: 0
  OUTPUT:
    - TABLE: schemanname.test（表名）
    - MODE: INSERT

应用举例

configuration文件名为gpload.yml，文件内容为

VERSION: 1.0.0.1
DATABASE: EDW
USER: gpadmin
HOST: 127.0.0.1
PORT: 5432
GPLOAD:
  INPUT:
    - SOURCE:
        LOCAL_HOSTNAME:
          - d5fgfhrd38
        PORT: 8829
        FILE:
          - /data1/backup/123.txt
    - COLUMNS:
        - test: varchar(100)
    - FORMAT: text
    - DELIMITER: '|'
    - ERROR_LIMIT: 0
  OUTPUT:
    - TABLE: atm_hello.test
    - MODE: INSERT

调用gpload

gpload -f gpload.yml

更多精彩博文，知识在www.infocool.net

转载请注明出处http://blog.csdn.net/wolaiye320/article/details/51281752