![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
greenplum
大浪淘沙2023
可以叫我码农,也可以叫我程序猿!
展开
-
一次greenplum锁问题导致无法truncate和drop表的问题排查
问题现象:在对表进行truncate和drop时,发现一直hang住。truncate table fi_temp.fi_hive_check_orders;drop table fi_temp.fi_hive_check_orders;一次greenplum死锁问题排查1.从 pg_stat_activity 视图中查找处于等锁状态的任务:select * from pg_stat_activity where waiting_reason='lock';dangdang=# ..原创 2020-12-16 12:11:37 · 1502 阅读 · 0 评论 -
greenplum授权问题
今天在迁移gp时,发现文件同步成,在使用gpfdist导入数据量,失败了。提示信息如下:gpfdist-p9000-P10000-f"/home/gpetl/DATA/datafile/GPGEN_DDPIM/PRODUCT_SUB_CATEGORY/20200429/GPGEN_DDPIM_PRODUCT_SUB_CATEGORY_20200429_jobid_13633_8...原创 2020-04-30 19:27:17 · 1131 阅读 · 0 评论 -
gpstop failed. (Reason='int() argument must be a string or a number, not 'NoneType'') exiting...
OS Version: CentOS Linux release 7.2.1511 (Core) greenplum version: 4.3.8问题:在初始化过程中遇到如下错误,并且master上的postgres进行已经启动,segment上的所有进程都没有启动。20170817:15:55:11:009635 gpstop:mdw:gpadmin-[INFO]:-原创 2017-08-18 10:46:50 · 2908 阅读 · 0 评论 -
greenplum shared_buffers设置问题
在安装和初始化greenplum过程中,遇到一些奇怪的问题(1) 数据库无法正常初始化:原因:只要修改shared_buffer大于125MB时,数据库就无法正常启动原因:kernel.shmmax参数设置过小,最好把此参数设置为总内存的50%。(2) 登录时遇到如下问题:20170818:14:08:02:074044 gpstart:gp-m0001:gpa原创 2017-08-18 14:29:26 · 3620 阅读 · 0 评论 -
函数和序列的导入导出
gp迁移过程中,一起没有找到单独对函数的序列的迁移导出脚本,于是不得不按schema名称把所有信息,包括表,函数,序列和权限的信息导出后,然后进行删减后,再进行导入。导出脚本如下所示:-s: 不导出数据,只导出结构-c: 创建对象前先删除对象,就是先按drop主句生成文件,再按create语句生成文件 。-n: schema名称-f: 把数据写入到文件 中pg_dump -s原创 2017-09-04 15:07:21 · 817 阅读 · 0 评论 -
使用gptransfer迁移数据
参考文档:https://gpdb.docs.pivotal.io/43160/admin_guide/managing/gptransfer.htmlhttps://my.oschina.net/goopand/blog/510083由于最近在做greenplum数据仓库的迁移时,数据规模在10T左右。集群一信息:版本信息:greenplum4.3.8ma原创 2017-08-28 16:50:29 · 1360 阅读 · 0 评论 -
greenplum数据迁移记录
greenplum数据迁移 gptransfer数据迁移原创 2017-09-07 18:28:07 · 4180 阅读 · 2 评论 -
greenplum 参数参数的具体方法
有如下二种方法:(1)查看所有参数edw=# show all; (2)查看某一具体参数: edw=# select * from pg_setting where name = "work_mem";原创 2017-09-11 11:09:07 · 831 阅读 · 0 评论 -
greenplum单表恢复测试
gp version:4.3.16os version: 遇到一个场景:之前搭建好的集群环境中,有几张表没有建立压缩,目前每张表的容量大概在600GB左右。于是选择使用gp_dump和gp_restore来进行恢复测试。1.#从master节点上导入数据测试drop table amb_mac_cnt_bak;CREATE TABLE amb_mac_cnt_bak (原创 2017-12-08 17:57:39 · 721 阅读 · 0 评论 -
greenplum一次修改主机名的经历
1.原集群信息如下:postgres=# select * from gp_segment_configuration; dbid | content | role | preferred_role | mode | status | port | hostname | address | replication_port | san_mounts ------+---------+原创 2017-12-20 15:28:30 · 1221 阅读 · 0 评论 -
greenplum通过hdfs访问外部表
环境信息:os: CentOS Linux release 7.2.1511 (Core) greenplum version: 4.3.16搭建过程:1. 安装greenplum环境信息: dbid | content | role | preferred_role | mode | status | port | hostname | address | replicat原创 2017-12-15 16:38:54 · 3275 阅读 · 0 评论 -
greenplum访问hdfs配置
#安装greenplum环境(gpadmin用户)软件路径:/apps/greenplum实例路径:/export/gpdata/#安装hadoop客户端:路径:/opt/cloudera/parcels/CDH-5.7.1-1#安装java/usr/java/jdk1.7.0_80#切换至gpadmin用户(1) 添加环境变量至.bash_原创 2018-01-03 16:53:42 · 2121 阅读 · 0 评论 -
greenplum安装遇Failed Update port number to 40000错误
在安装greenplum过程中,遇到Failed Update port number to 40000错误 信息:os: centos6.5gp version:4.3.8初始化时日志中遇到如下问题:20180605:11:37:53:010114 gpcreateseg.sh:gp-s0011:gpadmin-[FATAL][3]:-Failed Update port number to 4...原创 2018-06-05 14:03:26 · 381 阅读 · 0 评论 -
Failed to complete obtain psql count Master gp_segment_configuration Script Exiti
Linux Version: CentOS Linux release 7.2.1511 (Core) greenplum version: 4.3.8问题: 在初始化过程中,如到以下问题:gpadmin-[FATAL]:-Failed to complete obtain psql count Master gp_segment_configuration Script E原创 2017-08-18 10:42:15 · 2708 阅读 · 0 评论 -
greenplum一次节点迁移
greenplum节点迁移原创 2016-11-24 16:21:11 · 1753 阅读 · 0 评论 -
gpexpand扩展集群节点过程及问题解决
1.使用root用户修改相关参数 主要是/etc/sysctl.conf和/etc/security/limits.conf和/etc/hostname2.创建gpadmin组和用户,并安装相关的依赖包;3.保持和之前集群的目录一致,安装greenplum;4.配置新加入的主要和之前的所有主机的ssh互信;注意:配置ssh互信时,由于ssh版本升级,导致使用gpssh-exke原创 2016-11-15 16:37:27 · 4842 阅读 · 0 评论 -
greenplum维护中的一些技巧
1.如果能用greenplum3.3.X,就不要使用greenplum4.X。原因: a. greenplum4.x看起当primary节点出现问题时,可以切换到mirror节点,继续提供服务,当mirror节点恢复后,可以做增量同步。增量同步是一个大的亮点。但实际上,greenplum4.x大量的的bug导致的的不稳定完全抵消了这个优点。当机器内存紧张时,mirror经常与主库不同步。而转载 2016-01-28 15:14:48 · 2623 阅读 · 0 评论 -
FATAL: DTM initialization: failure during startup recovery, retry failed, check segment status (cdb
在启动greenplum时,日志中报如下错误:FATAL: DTM initialization: failure during startup recovery, retry failed, check segment status (cdbtm.c:1603)但是启动过程中没有报其它错误,使用psql登录时,又报如下错误,无法正常登录FATAL: DTM initializ原创 2016-01-28 16:09:29 · 4737 阅读 · 1 评论 -
greenplum数据库参数设置
GreenPlum参数设置注:segment host上是4个primary instance,4个mirror instance.cat /gpmaster/gp-1/postgresql.conf(1)、 shared_buffers(local, max_connections*16K)shared_buffers = 1600MB # master、standbysha原创 2016-01-28 17:23:18 · 3455 阅读 · 0 评论 -
greenplum创建外部表
1.启动gpfdist服务:相关参数gpfdist -d /export/gpdata/gpfdist/ -p 8001 -l /home/gpadmin/gpAdminLogs/gpfdist.log &-d:存放外部表的目录-p:端口号-l:日志文件2.把文件上传到gpfdist所在服务器对应的目录:可用wget或者scp等多种方式3.创建外部表原创 2016-05-03 16:52:49 · 7186 阅读 · 0 评论 -
greenplum 日期及时间函数
1.日期和时间间字段date:日期字段,格式:2016-04-15timestamp:时间字段,格式:2016-04-15 20:00:002.获取当时时间函数postgres=# select now(); now ------------------------------- 2016-05-03 17:06:16原创 2016-05-03 17:31:51 · 20634 阅读 · 0 评论 -
postgreSQL格式化时间的函数详解
数据类型格式化函数: PostgreSQL格式化函数提供一套有效的工具用于把各种数据类型(日期/时间、integer、floating point和numeric)转换成格式化的字符串以及反过来从格式化的字符串转换成指定的数据类型。下面列出了这些函数,它们都遵循一个公共的调用习惯:第一个参数是待格式化的值,而第二个是定义输出或输出格式的模板。函数返回类型描述转载 2016-06-02 21:25:31 · 949 阅读 · 0 评论 -
greenplum日常问题处理
1.查询当前gp中的活动sqlselect * from pg_stat_activity ;2.停止greenplum的正在执行的sql,需要通过上面的sql查询到procpid,才能终止。select pg_cancel_backend(procpid);select pg_terminate_backend(procpid);原创 2016-06-22 09:19:41 · 2427 阅读 · 0 评论 -
安装greenplum时遇到的一些问题
1.初始化过程中,出现如下情况,在主节点上的mirror节点一直初始化失败,重复尝试多次,均是如此20161110:15:08:56:114287 gpinitsystem:ETL:gpadmin-[INFO]:-Start Function PARALLEL_SUMMARY_STATUS_REPORT20161110:15:08:56:114287 gpinitsystem:ETL:gp原创 2016-11-10 15:32:41 · 3105 阅读 · 0 评论 -
扩展计算节点时偶遇 gpexpand --rollback问题
场景:(1)在使用gpexpand -i config_file文件时,遇到如下错误信息,并伴随整个集群服务全部启停止20161111:09:44:36:005874 gpstart:ETL:gpadmin-[ERROR]:-gpstart error: Found a System Expansion Setup in progress. Please run 'gpexpand --r原创 2016-11-11 10:11:53 · 2042 阅读 · 0 评论 -
gpcheckperf 对集群进行磁盘和网络带宽检查
使用gpcheckperf工具对服务器的各指标进行检查,费时比较长,大概花了40分钟,尤其是DISK WRITE和DISK READ的测试,在DISK WRITE时,每个服务器上写了252GB空文件。[gpadmin@ETL ~]$ gpcheckperf -f seg_host -d /export/gpdata –v/apps/greenplum/bin/gpcheckperf -f原创 2016-11-11 11:46:51 · 3158 阅读 · 0 评论