- 博客(84)
- 收藏
- 关注
RSS订阅转载 数仓心得(一):管理和发展
做数仓也有三年了，经历过业务和平台的零到一，一到二，一把鼻涕一把泪。把这些经历总结下，主要从三个方面去总结：一、数仓管理和发展；二、数仓逻辑架构和维度建模；三、平台选型。 先从数仓管理和发展说起，因为好的数仓...
2018-02-28 19:32:19
926
转载 gphdfs外部表和hive的融合
一、在所有节点上安装java1.6或以上版本 二、在segment上安装hadoop，支持以下版本。 Hado...
2017-05-25 18:18:43
596
转载 mysql联合索引的选择性
联合索引就是同时对表中多个列进行索引，联合索引会依次根据联合索引中的列排序存储。 下面通过下面的实验来探讨下联合索引的使用选择性： 版本：percona 5.6.27 create ta...
2017-01-18 18:47:52
426
转载 python跨库检查数据一致性
因为最近上线了samza实时流平台，实时从源数据端实时传输数据到数据仓库，于是就需要检查samza数据传输的准确性，则通过下面的python脚本定时检查两个数据端表的行数，以简单的检测下数据一致性。下面的脚本每天在早上6点...
2017-01-16 13:58:53
603
转载 greenplum何时收集统计信息
在GP的postgresql.conf中有控制自动收集统计信息的参数 gp_autostats_mode设置，gp_autostats_mode有三个值：none、no_change、no_no_stats（默认）...
2017-01-13 10:31:02
652
转载 GP修改参数导致重启失败
[gpadmin@gp-segment5 ]$ gpstart ..... 20170104:16:35:48:000907 gpstart:gp-segment5:gpadmin-[CRITI...
2017-01-04 16:56:24
1020
转载 GP standby切换成master
GP集群master服务器挂了，需要手动将standby切换成master，让集群继续对外提供服务 1、执行gpactivatestandby激活standby [gpadmin@gp...
2016-12-30 15:35:02
499
转载 mysql索引覆盖扫描优化
覆盖扫描即直接在索引中扫描出结果返回给客户端，不需要根据索引再去表上扫描结果，这种扫描方式效率高。当extra列出现Using index时即为覆盖扫描 现生产环境有个语句要优化， ...
2016-12-28 16:52:57
306
转载 pg_stats没有表统计信息
数据库中表的统计信息保存在pg_statistic中，pg_stats是pg_statistic数据字典上的一个视图，可以方便我们看pg_statistic的内容。 现要通过数据字段获取数据库中所有的表和对应的...
2016-12-26 14:46:54
388
转载 Lock wait timeout exceeded; try restarting transaction
今天开发提交一个存储过程要发布到正式环境 call report.proc_zerobuy(20161222,20161222,0); Lock wait timeout exceeded; try...
2016-12-23 16:00:33
133
转载 Failed to start Master instance in admin mode
GP无法启动，信息如下： [gpadmin@gp-master gpseg-1]$ gpstart 20161223:09:32:09:002004 gpstart:gp-master:gpadmi...
2016-12-23 09:51:09
634
转载 mysql恢复drop表
drop误操作删除表后，恢复的大概流程是1、从备份中将表恢复到备份时间点2、找到drop操作点3、从binlog中找到备份点到drop点中间所有事件，并筛选出该表的事件4、执行找到该表的事件一、实验...
2016-12-20 17:36:03
302
转载 用python进行数据库数据迁移
现要将mysql数据库上每5秒查询一次结果并覆盖写入到postgresql中去， 实现的方法有很多: 一、用shell,将查询出来的数据放到中间文本，再load到pg中。这种方法数据要落地，而且...
2016-12-16 15:10:49
1504
转载 pt-table-checksum校验主从一致性，使用pt-table-sync修复数据不一致
pt-table-checksum和pt-table-sync是percona-toolkit（安装文档请见http://blog.itpub.net/29989552/viewspace-2020786/）工具中的功能，...
2016-12-13 15:00:48
210
转载 python监控mysql主从脚本
闲来无事写了个python监控mysql主从的脚本，算是记录学习python阶段性的一个实战吧！#coding=utf-8import MySQLdbimport smtplibfrom email.m...
2016-12-09 13:50:01
423
转载 用python获取mysql中的表行数
#导入MySQLdb模块，这个模块需要自己安装，安装文档请见http://blog.itpub.net/29989552/viewspace-1805409/importMySQLdb #...
2016-12-06 15:35:08
3826
转载 ImportError: No module named utils
[root@trcloud-gtt-dw python]catemail.py import smtplib print 'aaa' [root@trcloud-gtt-dw python]# python...
2016-12-06 15:17:25
1479
转载 mysql关联查询优化
mysql中任何关联查询都是nest loop（嵌套循环）操作，nest loop是在驱动表中取出一条数据，然后从被驱动表中逐行比较，把符合规则的放入结果集中，然后再取下一行，依次循环，驱动表每返回一行，被驱动表就要扫描一次。...
2016-11-29 15:17:50
114
转载 mysql安装依赖perl(Data::Dumper)
安装Percona mysql的时候出现依赖包错误 [root@localhost upload]# rpm -ivh Percona-Server-server-56-5.6.27-rel76.0.el6.x...
2016-11-24 13:12:06
1164
转载 greenplum vacuum
greenplum中所有的delete并没有删除数据，而是将这数据标识为delete,而且update是delete加insert操作，随着业务的发展，表的大小就会越来越大。green提供的vacuum工具回收已经删除的数...
2016-11-23 11:05:55
348
转载 一个服务器安装多个postgresql
下载postgresql94-libs-9.4.4-1PGDG.rhel6.x86_64.rpm postgresql94-9.4.4-1PGDG.rhel6.x86_64.rpm postgresq...
2016-11-22 17:15:29
2019
转载 mysql checkpoint
checkpoint检查点主要是刷新脏页到磁盘上，使数据库达到数据状态一致性的工作。因为事务的提交只会刷新操作日志到磁盘，脏数据是异步刷新到磁盘，这个异步就是靠checkpoint。 一、主要解决以下问题： ...
2016-11-15 15:41:11
91
转载 greenplum 简单sql优化案例
数据仓库刚迁到GP上，发现下面sql语句运行起来并没有想象中的快，三个表总数据量150万，结果集70万条记录，却运行了7秒多，感觉有蹊跷。这里记录了整个优化过程。语句如下： select a.p...
2016-11-11 16:00:16
512
转载 relation with OID 637165 does not exist
执行存储报错对象表不存在，而且这个OID还会变，存储中有段如下代码，循环删除、删除并使用同一个临时表表名，猜测和临时表有关 。查找资料得知PostgreSQL版本＜8.3（GP4.3.8是pg8.2引擎），如果一个PL /...
2016-11-11 09:55:17
1426
转载 gp_dump备份恢复greenplum
gp_dump是GP并行备份的备份工具，在运行gp_dump的时候master与所有的segment节点都开始备份，数据文件都是放在各种的节点服务器上，消耗的时间和数据量最大的、消耗时间最长的节点有关，这里就...
2016-11-03 10:11:55
874
转载 greenplum使用gpfdist与外部表高效导入数据
greenplum作为OLAP分析型软件，自然避免不了从外部数据库加载大量的数据，然而传统的ETL数据传输方法（select=>insert）到GP需要经过GP的单点master，效率非常低。 下面介绍外...
2016-10-24 17:20:19
947
转载 greenplum修改参数导致无法启动
修改参数share_buffergpconfig -c shared_buffers -v 1536MB重启使内存参数生效[gpadmin@gp-master ~]$ gpstop -M fast......
2016-10-20 11:35:13
658
转载 the master's binary log is corrupted
主从复制报错，下面是从库复制状态： mysql> show slave status\G; *************************** 1. row ***************...
2016-10-18 11:30:08
375
转载 mysql迁移到greenplum sql改造总结
greemplum的计算内核是postgresql，所有下面总结的几点也适用于mysql迁移到postgresql1、时间格式化 mysql: select DATE_FORMAT(now(),'%Y%...
2016-10-12 15:06:02
117
转载 FEDERATED存储引擎实现oracle dblink功能及弊端
mysqlFEDERATED存储引擎可以实现oracle dblink类似的远程访问功能，FEDERATED存储引擎需要针对每个需要远程访问的表进行逐一创建，而不能像oracle dblink有全局功能。mysqlFED...
2016-09-22 11:29:00
329
转载 主库reset master清理binlog日志到主从复制错误
今天看见主库binlog日志非常大，于是使用reset master命令清空日志 mysql> reset master; Query OK, 0 rows affected (1 min 5...
2016-09-22 09:59:05
337
转载 GP增加计算节点
现集群环境 master一台：centos6.7 4核4G 主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G...
2016-09-21 13:43:17
397
转载 GP诡异的查询转换
原始数据：edw=# select * from ods.my_test2;i_a | i_b | i_c -----+-----+--------b | 5 | 201501b | ...
2016-09-21 09:31:56
220
转载 mysql清除binlog日志
定期清理binlog日志可以避免磁盘满导致数据库异常关闭1、按文件:删除mysql-bin.000354之前的日志,不包含mysql-bin.000354 MYSQL>purge binary log...
2016-08-22 13:36:34
73
转载 mysql实现开窗函数
学习过oracle的应该知道，oracle中的分析函数功能十分强大，包括mssql、postgresql等数据库都支持开窗函数。然而mysql至今都没有提供这样的功能，今天就来探讨下用mysql实现一些开窗功能需求。实验数据...
2016-08-06 16:00:21
525
转载 pg无法登陆
远程登陆GP的时候无法登陆[gpadmin@gp-master ~]$ psql -h172.30.248.18 -p5432 -dpostgres -Upgadmin psql: FATAL: no p...
2016-08-05 15:00:12
611
转载 greenplum安装部署
环境描述： master一台：centos6.7 4核4G 主机名：gp-matser;IP:172.30.248.18 segment两台：centos6.7 4核4G...
2016-08-05 14:52:45
623
转载 kettle创建资源库Incorrect integer value
今天创建kettle数据库资源库连接的时候 出现Incorrect integer value: 'Y' for column 'ENABLED' at row 1，无法向表中插入数据 CREATE...
2016-07-15 10:21:04
182
转载 mysql临时表空间不够导致主从复制失败
今天早上上班，有用户反应今天的数据没有更新，于是看下slave进程mysql> show slave status\G; ........ Slave_IO_Ru...
2016-07-05 10:56:44
160
转载 mysql主从搭建切换
环境： 172.30.249.156 percona5.6.27 主机名：tr-mysql 跑着生产环境的应用的虚拟机 192.168.129.153percona5.6.27 主机名...
2016-06-29 09:42:03
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人