pgloader

使用pgloader加载数据到postgresql中

替换conf文件的日期
sed -i “s/[0-9]{4}-[0-9]{2}-[0-9]{2}/${YESTERDAY}/” /export/loganaly/pgloader-stat-trace-pgdata3.conf

执行加载数据
python /usr/bin/pgloader -c /export/loganalyse/pgdata3.conf

相关配置文件
[jiao@l-jiao.s.cn6 ~]$ cat pgloader-stat-trace-pgdata3.conf

[pgsql]
host = l-xxx.xx.cn5
port = 5432
base = data_sas
user = pgdba
pass = XXXXXXXXXXXXXXXXXXXXXX

log_file            = /var/pgdata3-trace-2015-12-01.log
log_min_messages    = ERROR
client_min_messages = WARNING
lc_messages         = C

client_encoding = 'utf-8' 
#input_encoding = 'utf-8'
copy_every      = 20000
commit_every    = 20000
#copy_delimiter  = %

null         = "NULL"
empty_string = ""

max_parallel_sections = 4

[pgloader]
table     = wl_data.stat_trace
format    = text
filename  = /export/data/trace.2015-12-01.log
field_sep = \t
columns   = report_date,requesttime,source,mode,uid,pids,env_type,query,pt,act,ts,platform,vid,ntitle,ntitlelen,nimg,nimglen,userid,gid
reject_log =   /export/loganalyse/tuan/pgloader-conf/log/trace-reject-2015-12-01.log
reject_data =  /export/log/trace-statistics-reject-2015-12-01.data
quotechar = ^A
escapechar = ^A
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值