- 博客(23)
- 收藏
- 关注
RSS订阅原创 mysql 语句执行计划
1、如何查看执行计划 mysql 在语句之前添加 explain 或者 desc 来查看语句的执行计划可见执行计划一共有以下几个字段：1. id 2. select_type 3. table 4. partitions 5. type 6. possible_keys7. key 8. key_len 9. ref 10. rows ...
2020-06-10 16:04:10
219
原创 mysql 查询语句执行过程
总结一下学习的 mysql 语句的执行过程，不涉及具体存储引擎的执行过程。了解语句执行的过程，对与整个 mysql 的体系架构会有一个简单的整体认知，相对于后面学习的展开会有所帮助。当我们在客户端发起一条查询语句时，对于 mysql 而言其执行的过程需要用到以下几个部分：1、连接器2、分析器3、优化器4、执行器5、存储引擎主要过程如下：1、连接器对当前连接进行权限判定 如果没有权限对 sql 中的表jin进行查询则直接返回错误给客户端；2、如果有权限，判定 ...
2020-06-08 10:03:45
318
原创 linux 安装 mysql 数据库（rpm包安装与编译安装）
之前学习了最常用的二进制安装方式，其主要步骤为： 上传安装包 -- 安装系统依赖包 -- 解压缩-- 创建数据/日志文件路径 -- 修改参数文件 -- 根据参数文件初始化数据库。今天学习一下另外两种安装方式：rpm包安装 与 源码编译安装一、rpm包 安装该方式最大的特点就是简单，一条命令即可完成，缺点 是很不灵活，参数配置都是标准化的，不过我们可以安装完之后自己修改。1、先到官网mysql.com/downloads,选中指定的操作系统类型，获取对应的rpm包会看到官网提供了一下...
2020-06-06 17:23:35
452
原创 greenplum 自动导数工具
公司测试环境同步数据需求量巨大，每天都要导出大量生产数据到测试环境， 写了一个自动导数的工具，支持并行导出并自动导入到 测试环境，使用时需自己指定放有 导出过滤语句的文件，需放开生产到测试的网络环境。#/bin/bashsource /usr/local/greenplum-db/greenplum_path.shexport local_dir=/backup/cshUSAGE (){echo ""echo "Usage: -ds -dt -Ds -Dt -hs -.
2020-06-06 16:04:12
887
原创 greenplum 数据库 函数元数据 导出
公司有个需求要导出所有业务数据库中的函数，由于函数个数太多写了一个导出脚本，需要自行修改函数的 namespace，有需要的可以 试试看， 有问题欢迎 提出来一起谈论。#!/bin/bashsource /usr/local/greenplum-db/greenplum_path.shmkdir -p /data2/copy/outputdbname="dp_bidb"funcon=`psql -X -t -d $dbname -c "select count(*) from ...
2020-06-06 15:59:04
641
原创 gprecoverseg 测试
对 gprecoverseg 命令进行了 一次实际操作测试，模拟有一个主实例 down的情况下如何进行恢复操作1、查询当前数据库节点状态信息dp_bidb=# select * from gp_segment_configuration order by 8,2;dbid | content | role | preferred_role | mode | status | port | hostname | address | replication_port | san_moun...
2020-06-06 15:45:04
919
原创 greenplum 权限配置文件 pg_hba.cnf 字段含义
pg_hba.cnf 用于数据库的访问权限 控制，每条记录声明一种联接类型，一个客户端 IP 地址范围（如果和联接类型相关的话），一个数据库名，一个用户名字， 以及对匹配这些参数的联接使用的认证方法。 第一条匹配联接类型，客户端地址和联接企图请求的数据库名和用户名的记录将用于执行认证。 这个处理过程没有"跨越"或者"回头"的说法：如果选择了一条记录而且认证失败， 那么将不考虑后面的记录。如果没有匹配的记录，那么访问将被拒绝。每条记录可以下面七种格式之一:local database...
2020-06-06 15:41:37
1314
原创 greenplum function 函数 代码获取
写了一个获取 gp 数据库 函数体的脚本，有兴趣的可以拿去看看。#!/bin/bashsource /usr/local/greenplum-db/greenplum_path.shusage(){ echo "" echo "Usage: gpfunction function_name [database_name] " echo "" exit 1;}...
2019-05-29 11:27:41
3752
1
转载 greenplum SQL 的执行过程
A，各个节点上 同时扫描各自的nation表数据，将各segment上的nation数据向其他节点广播（Broadcast Motion (N:N) ）B, 各个节点上 同时扫描各自customer数据，和收到的nation数据join 生成RS-CNC，各个segment同时扫描自己orders表数据，过滤数据生成RS-OD, 各个segment同时扫描 自己lin...
2019-05-29 11:23:01
2145
原创 greenplum 状态检查/监控脚本
写了一个日常对 greenplum 数据库进行检查，记录数据库当前的整体情况，需自己修改数据库信息与邮件发送配置才可正常使用。#!/bin/bashsource ~/.bash_profilesource /usr/local/greenplum-cc-web/gpcc_path.shsource /usr/local/greenplum-db/greenplum_path....
2019-05-29 11:17:16
864
原创 greenplum官方监控工具 GPCC 安装、升级、卸载
一、安装GP监控的数据库和用户等信息执行Greenplum DB数据库的gpperfmon_install工具,完成GP监控软件安装的前期准备工作gpperfmon_install工具的功能大致是： 创建greenplum监控用数据库(gpperfmon) 创建greenplum监控用数据库角色(gpmon) 配置greenplum数据库接受来自perfmon...
2019-05-29 11:13:41
9319
2
原创 greenplum常用脚本
1、创建资源队列create resource queue name with (memory_limit='2000MB',active_statements=10);每条sql的最大可使用内存为：memory_limit/active_statement;如果设置了max_cost，那么可使用的最大内存为：memory_limit*(query_cost/max_cost); quer...
2019-05-29 11:01:32
1155
原创 greenplum数据导入导出
一、数据导入greenplum数据导入有五种方式：1. insert：通过sql直接插入数据2. copy：通过master节点加载，无法实现并行高效数据加载copy tablename from '/home/../test.cvs' with delimiter ',';3. 外部表：创建外部表，然后插入数据4. gpload：外部表的封装...
2019-05-29 10:31:40
6630
1
原创 greenplum数据库远程登录操作
greenplum数据库底层封装的是 postgresql 数据库，与 pg 数据库一样，要想登录数据库，需先配置数据库白名单，即允许登录的数据库相关信息。一、配置文件为位于 MASTER 节点的数据目录之下的 pg_hba.conf 文件vi $MASTER_DATA_DIRECTORY/pg_hba.conf该文件的记录有5个字段，代表的意义为：1、连接方式分别是：“...
2019-05-29 10:24:44
4970
转载 greenplum架构介绍
greenplum采用的是 Shared-Nothing 架构，与ORACLE RAC不同，它是每个计算节点(segment)都保存一部分的数据，在master节点的控制下进行计算并提供服务。主节点与子节点GPDB中，数据通过复杂的HASH 算法或随机拆分成无重叠的记录集合，分布到所有 Segment 上。仅 Master 完成与用户和客户端程序的直接交互。因此但对于用户来说，使...
2019-05-29 10:11:43
1001
原创 greenplum数据库添加实例
对greenplum数据库进行横向扩展：一、首先跟安装步骤一样，先配置好要扩展的服务器，包括环境配置、参数修改、用户与数据目录创建、配置互信、greenplum bin软件的拷贝等，然后把主机名放在一个文件中vi /new_hosts二、初始化新节点然后加入集群gpexpand -f new_hosts #生成扩展配置文件gpexpand -i gpexpand_...
2019-05-29 10:05:56
1158
原创 greenplum数据库的安装
greenplum数据库的安装一、服务器准备1、关闭防火墙service iptables stopchkconfig iptables off2、关闭selinuxvi /etc/selinux/configSELINUX=disabled3、修改内核参数vi /etc/sysctl.confkernel.shmmax = 500000000...
2019-05-29 09:48:27
1231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人