GreenPlum 使用gpload通过gpfdist文件实现数据高速加载

1,gpload环境准备环境准备请参考博主以前的文章gpfdist部署实战:http://blog.csdn.net/mchdba/article/details/72540806  ,安装好gpfdist后,gpload也自动有了,可以自动使用。 安装完后,可以启动gpfdist服务:nohup /data/greenplum/bin/gpfdist -d /data/greenplum/ -p...
阅读(1539) 评论(2)

MySQL: Couldn't execute 'SET OPTION SQL_QUOTE_SHOW_CREATE=1':问题

执行mysqldump报错[root@t91~]# mysqldump -d --socket=/usr/local/mysql/mysql.sock orcl_db >orcl_db.sql mysqldump: Couldn't execute 'SET OPTION SQL_QUOTE_SHOW_CREATE=1': You have an error in your SQL syntax;...
阅读(798) 评论(0)

GreenPlum 可读写外部表 实战

Greenplum的gpload工具通过可读外部表和并行化文件服务器gpfdist(或gpfdists)来加载数据。gpload处理并行化的基于文件的外部表设置,以及允许我们使用单个YAML文件来配置数据格式,外部表定义,以及gpfdist或gpfdists。要使用gpload工具有几个前提条件必须满足:1.    使用gpload的服务器必须安装Python 2.6.2或者以上版本,pygres...
阅读(409) 评论(0)

GreenPlum 集群 gpfdist 实战

并行文件服务gpfdist组件模块,能够实现最大并行度、加载带宽,默认greenplum集群已经有了已经安装了gpfdist,但是如果在单独的服务器上,还是需要再次安装的单独的组件,需要下载一个loaders的组件安装包进行安装。1,下载下载地址:https://network.pivotal.io/products/pivotal-gpdb#/releases/4540/file_groups/...
阅读(841) 评论(0)

GreenPlum 外部表external table 实战

在第一个greenplum集群下面的master服务器上,启动gpfdist服务,在00_mdw启动gpfdist服务 执行启动命令: nohup $GPHOME/bin/gpfdist -d /home/gpadmin -p 8888 > /tmp/gpfdist.log 2>&1 &查看启动日志:cat /tmp/gpfdist.log,日志信息如下:[root@00_mdw ~]# ca...
阅读(607) 评论(0)

GreenPlum 客户端管理工具

Greenplum的客户端工具有很多,我们选择gpAdmin这个工具,因为gp底层试postgresql,所以postgresql的客户端工具,基本上都可以连接greenplum来使用。 gpAdmin的最新版本下载地址: https://www.postgresql.org/ftp/pgadmin/pgadmin4/v1.4/windows/...
阅读(2192) 评论(0)

GreenPlum 集群中通过orafunc实现Oracle兼容函数

oracle数据迁移到greenplum有一个不得不面对的难题,那就是很多存储过程中调用的存储函数,一个个改起来太麻烦了,所以如果想迁移顺利,一个比较的办法是,在greenplum里面自己实现同名字同功能的函数。 1,查看是否已经安装了orafunc插件[root@dwhm01_2_111 ~]# find / -name orafunc* /data/soft/yes/share/postgres...
阅读(1232) 评论(0)

GreenPlum 启动失败Failed to start Master instance in admin mode问题

开发同事跟我说,测试环境的greenplun突然连接不上了,于是我登陆进去服务器,发现没有greenplun进程了,问开发同事是否有对greenplumn有过改动之类的,他们说没有动过,这就奇了怪了,咋回事呢? 自己手动尝试下gpstart启动报错[gpadmin@00_mdw ~]$ gpstart 20170517:10:53:59:017586 gpstart:00_mdw:gpadmin-[...
阅读(1160) 评论(0)

Oracle drop table 和 truncate table对grant授权的影响

1、以sys登陆,建表赋予权限,准备测试表z2[oracle@crl ~]$ rlwrap sqlplus / as sysdbaSQL*Plus: Release 11.2.0.4.0 Production on Tue May 16 14:59:27 2017Copyright (c) 1982, 2013, Oracle. All rights reserved. Connected to:...
阅读(2015) 评论(0)

Oracle 如何规范清理v$archived_log记录

单机实例上面,v$archived_log 很多,有上万条记录了,所以得清理一下,不然每次查询都直接滚屏幕了SQL> select sequence#,applied from v$archived_log order by sequence# ; SEQUENCE# APPLIED .................... SEQUENCE# APPLIED ---------- -------...
阅读(993) 评论(0)

GreenPlum 启动失败 Failed to start Master instance in admin mode

在测试外部表的时候,因为修改了参数,所以需要greenplum重启加载,但是greenplum启动失败,如下所示:[gpadmin@dwhm01_2_111 etc]$ tail -f /data/master/gpseg-1/pg_log/startup.log 2017-05-12 18:02:39.220978 CST,,,p26115,th1749395232,,,,0,,,seg-1,,,...
阅读(687) 评论(0)

GreenPlum 之数据库的用户角色管理

1,创建用户role在greenplum后续版本中,已经将使用role取代了user,所以创建用户就是create role: [gpadmin@dwhm01_2_111 ~]$ psql -d yueworld_db                                   psql (8.2.15) Type "help" for help. yueworld_db=...
阅读(2113) 评论(0)

IMPDP 报错 ORA-31655: no data or metadata objects selected for job问题

上周给开发小伙伴迁移了23张表到测试环境,今天小伙伴来找我了,说数据还是老的,比如PLAN6_NODE表线上有3W多条,测试环境还是2W多条,明显不对哈,不是线上的数据。我一check,确实数量不对,原因在哪里呢?查看历史操作记录,找上次impdp操作的日志[oracle@t_217 ~]$history |grep impdp |grep zhangorcl_20170505 669 201...
阅读(2316) 评论(0)

ORACLE 给用户授权truncate table 的实现方案

1,对其它用户下的表执行trundate table操作开发说在用dwetl下执行调用shop用户下的表的时候提示没有权限操作,google了查了下,发现oracle账户没法直接赋予对某个表的truncate权限,那要怎么来实现呢? 在shop用户下面,准备测试数据SQL> create table Z_TRUNCATE_T(ID number);Table created.SQL> insert...
阅读(1961) 评论(0)

ORACLE 在AZURE云上准备预发布数据库环境

1,搭建准备需要搭建一个预发布环境,因为线上采用的是rman备份,所以会有rman备份集合,但是rman出来的备份集合,每次恢复过程中都会出现各种各样的细节问题,最近数据库升级了小版本号,到了11.2.0.4,所以记录下来这次rman的恢复过程,以备后来参考,大概流程是 (1)copy备份集合到临时库; (2)关闭临时库 (3)恢复控制文件 (4)注册备份集合目录 (5)restore d...
阅读(557) 评论(0)
    个人资料
    • 访问:3317280次
    • 积分:40860
    • 等级:
    • 排名:第102名
    • 原创:646篇
    • 转载:4篇
    • 译文:2篇
    • 评论:1410条
    博客专栏
    技术网址连接
    http://dev.mysql.com/doc/
    最新评论