- 博客(24)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 gpMgmt如何新增python依赖库
gpMgmt如何新增python依赖库背景如果新增1个管理工具实现某些功能，如gpload_xxxx，该新增工具依赖第三方python依赖库ruamel.yaml、ptyprocess、pycrypto （而GP源码中没有包含这些依赖库），该如何解决解决方案1、首先，下载python第三方依赖库https://pypi.org/project/ruamel.yaml/0.16.13/https://pypi.org/project/ptyprocess/0.6.0/https://pypi.o
2022-03-02 20:18:01
455
原创 bin.gppylib.mainUtils
bin.gppylib.mainUtilsmainUtils.py文件提供了一个基本框架来支持gp实用程序的顶级选项解析、初始化和清理逻辑。主要的接口函数是simple_main。请参阅 gprecoverseg。随着gp实用程序的常用功能不断扩展，该文件的功能也会增长。请记住这一点，并尽量避免在此处放置特定实用程序的逻辑。导包import errno, os, sys, shutilgProgramName = os.path.split(sys.argv[0])[-1]if sys.ve
2022-03-02 20:06:32
359
原创 重命名文件
#!/usr/bin/env python"""#!/usr/bin/env python"""@Filename: rename_file_by_sort.py"""import osimport sysimport getoptdef main(argv): config_file = "" try: opts, args = getopt.getopt(sys.argv[1:], 'f:', ['file=']) except getopt.
2020-12-07 21:16:31
186
原创 Greenplum的Hash Join
Greenplum的Hash Join在介绍HashJoin实现之前，首先了解下什么是 JOIN。根据维基百科（WIKIPedia），JOIN是关系数据库中组合一个或者多个表中的columns的算子。而JOIN 有多种类型， SQL 标准中定义了 INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN 等四种类型，用集合论里的操作非常容易理解。 我们在下图直观的解释了这四种JOIN类型的效用。此外还有其中JOIN类型，譬如 SEMI JOIN和 ANTI JO
2020-05-08 17:57:15
560
原创 Greenplum数据分布和分区
Greenplum数据分布和分区数据分布分区策略数据分布https://yq.aliyun.com/articles/57822https://segmentfault.com/a/1190000022005788http://www.dbdream.com.cn/2016/01/greenplum%E6%95%B0%E6%8D%AE%E5%BA%93%E5%88%9B%E5%BB%BA%...
2020-05-06 10:48:48
2311
原创 Greenplum常用SQL总结
Greenplum常用SQL总结查看各个节点数据的分布查看各个节点数据的分布SELECT gp_segment_id,count(*) FROM table_name GROUP BY gp_segment_id;
2020-04-30 16:42:29
1927
原创 《GPDB学习笔记》GPCC安装笔记
部署GP集群postgres=# select * from gp_segment_configuration order by 1; dbid | content | role | preferred_role | mode | status | port | hostname | address | datadir------+---------+--...
2020-03-21 12:40:52
677
原创 Greenplum去除表中重复项
AO表无法创建主键约束避免重复数据，GP6官方手册描述如下：由于无法轻易识别源数据的重复项，可以通过加载完所有内容，然后利用唯一标识行的primary key id删除重复项的方式，来去除AO表中的重复项。数据表分布在不同的节点上，每个节点的ctid是唯一的，但是不同的节点就有ctid重复的可能，因此GP必须借助gp_segment_id来进行去重复处理。SQL1：不适用于同一条记录的重复...
2020-03-03 17:20:10
779
原创 《GPDB学习笔记》版本升级
小版本手动升级与回退（6.0.0 <==> 6.1.0）小版本升级准备6.0和6.1版本包，如下：[gpadmin@cgsl51 ~]$ lltotal 198512drwxrwxr-x 2 gpadmin gpadmin 4096 12月 20 15:26 gpAdminLogsdrwxrwxr-x 2 gpadmin gpadmin 100 12月...
2019-12-20 16:39:08
324
原创 《GPDB学习笔记》资源管理
resource group资源组（resource group）是资源队列（resource queue）的新设计和重写。使用创建Greenplum数据库cgroups配置文件/etc/cgconfig.d/gpdb.conf。用户必须是超级用户或具有sudo访问权限才能创建此文件：sudo vi /etc/cgconfig.d/gpdb.confgroup gpdb { ...
2019-12-19 17:14:16
501
原创 《GPDB学习笔记》Greenplum6.1.0编译
ORCA优化器编译及安装cmakehttps://github.com/Kitware/CMake/releases?after=v3.9.3su - greenplumtar -zvxf cmake-3.8.2.tar.gzcd cmake-3.8.2./configure --prefix=/home/greenplum/cmakemakemake installvi ...
2019-11-25 11:33:08
707
原创 expect脚本交互返回退出码
#/bin/bashexpect 2>&1 <<'END_OF_EXPECT'spawn ssh -o NumberOfPasswordPrompts=1 10.46.178.51 -T "sudo sh /tmp/install_command.sh"set timeout 180expect { "yes/no" { send "yes\r"; exp...
2019-10-15 18:46:40
1408
1
原创 linux磁盘开机挂载
查询磁盘UUID[root@cgsl57 ~]# blkid /dev/sdd | awk '{for(col=1;col<=NF;col+=1){if($col ~ /UUID/){print $col}}}'UUID="83015a5d-43ca-4c82-abdf-29430905f5ee"
2019-10-12 13:18:54
200
原创 python字符串Unicode和String互相转换
问题一：将u'\u810f\u4e71'转换为'\u810f\u4e71' 方法：s_unicode = u'\u810f\u4e71's_str = s_unicode.encode('unicode-escape').decode('string_escape') 问题二：将'\u810f\u4e71'转换为u'\u810f\u4e71'方法：s_str = '\u810f\...
2019-10-11 10:40:15
954
翻译 《Postgresql学习笔记》之查询处理
查询处理概要Parser本章概述了查询处理，尤其是查询优化。本章包括以下三个部分：3.1节概述Postgresql中的查询处理本部分解释了获得单表查询的最优计划所遵循的步骤。在3.2和3.3节中，分别解释了估算成本和创建计划树的过程。3.4节简要描述了执行操作本部分阐述了多表查询的最优方案的获取过程。在3.5节中，描述了3种连接方法：嵌套循环、合并和散列连接。在3.6节中，解释了创建多...
2019-09-30 10:11:32
273
原创 Postgresql TOAST
Postgresql TOASTTOAST (The Oversized-Attribute Storage Technique，)超大尺寸字段存储技术）主要用于存储大字段的值。PostgreSQL 页面（page）大小是固定的（通常为8KB），且不允许tuples跨多个页面存储。因此不能存储非常大的字段值。为了克服这个限制，大字段值通常被压缩甚至切片成多个物理行存储到TOSAT表，这就是TO...
2019-09-11 17:24:36
545
原创 Postgresql安装
Postgresql安装解压安装包[root@dhss206 ~]# useradd liyang[root@dhss206 ~]# chown -R liyang. /home/liyang/rdbpg64_linux.Z[root@dhss206 ~]# su - liyang[liyang@dhss206 ~]$ chmod 744 rdbpg64_linux.Z[liyang@...
2019-09-11 15:55:21
263
原创 Segment镜像配置
Segment镜像配置Segment镜像允许数据库查询在主Segment失效或不可用时转移到备份Segment。Pivotal要求Greenplum数据库用于生产系统使用镜像。为了确保高可用，主Segment及其镜像必须位于不同的主机上。Greenplum数据库系统中的每台主机都有相同数量的primary Segment和mirror Segment。主机应该在每个接口上有相同数量的主Segm...
2019-09-10 17:17:14
515
原创 日志格式打印
// log.sh#!/bin/bashLOG_FILE="./liyang.log">"${LOG_FILE}"log_info(){ local flag;local message flag=$1 message=$2 datatime="`date +%Y%m%d:%H:%M:%S`" main_pid=$$ log_form...
2019-08-22 20:54:24
602
原创 《SQL必知必会》学习笔记
1 了解SQL基本概念数据库管理系统（DBMS）：数据库软件。数据库（database）：保存有组织的数据的容器。通过DBMS创建和操纵的容器。表（table）：用于存储某种特定类型数据的结构化文件。模式（schema）：关于数据库和表的布局及特性的信息。列（column）：表中的一个字段。表是由一个或多个列组成的。行（row）：表中的一个记录（record）。主键（primary...
2019-08-07 11:22:09
187
原创 Linux系统下如何查看某端口被某进程所占用
//使用ss命令[root@mdw ~]# ss -lptn 'sport = :5432'State Recv-Q Send-Q Local Address:Port ...
2019-08-02 14:58:03
356
原创 Greenplum学习笔记（1）远程访问数据库
Greenplum学习笔记（1）Greenplum远程访问数据库修改postgresql.conf修改pg_hba.conf修改数据库密码远程连接Grenplum数据库Greenplum远程访问数据库Greeenplum默认只能通过master主机访问数据库，不允许其他主机远程访问数据库。如果需要远程访问数据库，需要修改master数据目录…/gpdata/master/gpseg-1/的pg...
2019-07-30 00:09:36
2541
rust+mingw64安装包适用于windows64
2022-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人