xu704928452的博客

pgbouncer是连接池。其实plproxy，pgpool什么的，都有这功能。pgbouncer与之相比，最大的好处是简单，小型。如果不需要负载均衡什么的功能，用pgbouncer就足够了。PgBouncer的特点a.内存消耗低(默认为2k/连接)，因为Bouncer不需要每次都接受完整的数据包b.可以把不同的数据库连接到一个机器上，而对客户端保持透明c.支持在线的重新配置而无须重启...

pgbench是一种在PostgreSQL上运行基准测试的简单程序。它可能在并发的数据库会话中一遍 一遍地运行相同序列的 SQL 命令，并且计算平均事务率(每秒的事务数)。pgbench支持两种测试方式:1、默认情况 下，pgbench会测试一种基于 TPC-B 但是要更宽松的场景，其中在每个事务中涉及五 个SELECT、UPDATE以及INSERT命令。2、用户可以通过编写自己的事务脚本文件...

1、安装前准备1.1、主机硬件配置4G内存，40G磁盘1.2、配置OS内核参数kernel.shmall、kernel.shmmax、kernel.shmmni共享内存相关参数，在9.2以及以前的版本，数据库启动时，对共享内存段的内存需求非常大。后期版本要求不大，但可参考此设置。1.3、配置OS资源限制vi /etc/security/limits.confsoft nofi...

⼀、准备环境操作系统：CentOS Linux release 7.4数据库版本：PostgreSQL 9.6.12主库:192.168.189.152从库:192.168.189.153⼆、主机数据库部署以下操作步骤请在两个节点进⾏，主库需要安装数据库软件以及初始化数据库，从库仅需要安装数据库软件即可⽆需初始化。1、添加RPM源[root@localhost opt]# yum...

在 GaussDB T 的创建过程中 initdb.sql 创建了数据库的核心对象，共计约 117 个。通过这些核心对象，可以了解 GaussDB 的基本工作原理。收录这个脚本如下，供参考。CREATE TABLE SYS_SEQUENCES(UID BINARY_INTEGER NOT NULL,ID BINARY_INTEGER NOT NULL,NAME VARCHAR(64) ...

GaussDB 在创建数据库时，可以指定数据库的归档模式，也可以在创建之后自由修改。可以通过 V$DATABASE 视图来查看数据库的归档模式：SQL> select name,log_mode from v$database;NAME LOG_MODEGAUSS ARCHIVELOG修改数据库的归档模式需要在 Mount 状态下进行：[omm@enmodb1 ~]$ pyth...

1、系统初始化systemctl stop firewalldsystemctl disable firewalldfirewall-cmd --statecd /etc/sysconfig/network-scripts/2、优化内核参数修改/etc/sysctl.conf，添加如下参数：kernel.sem = 50100 128256000 50100 2560net.cor...

swap清理：swapoff -a && swapon -a 注意：这样清理有个前提条件，空闲的内存必须比已经使用的swap空间大cache清理：sync; sync; sync;&& echo3 >/proc/sys/vm/drop_caches sleep 2 echo 0>/proc/sys/vm/drop_cachesTo free pa...

问题描述：登录一台测试服务器，发现部分进程失踪 (Nginx/PHP-FPM/MySQL/Crond)。解决方法：1、首先启动这些进程，保证正常提供服务。2、查看服务器日志信息，排除故障。shell > less /var/log/messages-20160905Sep 3 05:31:10 localdomain kernel: Out of memory: Kill pro...

内存性能指标为了分析内存的性能瓶颈首先，你最容易想到的是系统内存使用情况，比如已用内存、剩余内存、共享内存、可用内存、缓存和缓冲区的用量等。已用内存和剩余内存很容易理解，就是已经使用和还未使用的内存。共享内存是通过 tmpfs 实现的，所以它的大小也就是 tmpfs 使用的内存大小。tmpfs 其实也是一种特殊的缓存。可用内存是新进程可以使用的最大内存，它包括剩余内存和可回收缓存。缓存包括两...

内存性能中 Buffer 和 Cache从写的角度来说，不仅可以优化磁盘和文件的写入，对应用程序也有好处，应用程序可以在数据真正落盘前，就返回去做其他工作。从读的角度来说，既可以加速读取那些需要频繁访问的数据，也降低了频繁 I/O 对磁盘的压力。Buffer 既可以用作“将要写入磁盘数据的缓存”，也可以用作“从磁盘读取数据的缓存”。Cache 既可以用作“从文件读取数据的页缓存”，也可以用...

hive表之视图1、视图是一个虚表，一个逻辑概念，可以跨越多张表。表是物理概念，数据放在表中，视图是虚表，操作视图和操作表是一样的，所谓虚，是指视图下不存数据。2、视图是建立在已有表的基础上，视图赖以建立的这些表称为基表3、视图可以简化复杂的查询oracle/mysql表之视图视图是从已存在表上抽出逻辑相关的数据集合，其本身和表的区别不大，都是对数据一种存储，只不过我们可以在已有表的基础...

一、变量当你把一个值赋值给一个名字的时候，它会存储在一个内存中，把这块内存称为变量（variable）再说的简单一点，就是一个会变的量。Python和大多数的计算机语言不太一样，它不是把值存储在变量中，它是把名字贴在值边上。所以有些python程序员会说，Python没有变量，只有名字。变量，它就是一个名字，通过这个名字，我们可以找到我们想要的东西。这里我们需要注意的是：在使用变量之前，需...

开发环境准备 ：开发需检查以下环境是否ready:SAP开发用测试数据源准备就绪。数据仓库的Oracle（MySQL）数据库准备就绪，ETL要加载的表已创建。ETL Server的相关软件(DataStager Server及MetaStage)已安装就绪。ETL Server与SAP数据源及目标Oracle数据库的连接已通过测试。在ETL Server上创建与Oracle连接的ODB...

HDFS介绍Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS设计目标1...

Impala和Hive之间的SQL差异Impala的SQL语法遵循SQL-92标准，并且在内置功能等领域包括许多行业扩展。有关将SQL代码从各种数据库系统移植到Impala的一般讨论，请参见将SQL从其他数据库系统移植到Impala。由于Impala和Hive共享相同的metastore数据库，并且它们的表经常互换使用，因此以下部分详细介绍了Impala和Hive之间的区别。HiveQL功能...

概述Apache Impala是Apache Hadoop的开源原生分析数据库;Impala于2017年11月15日从Apache孵化成顶级项目。在以前称为“Cloudera Impala”的文档中，现在的官方名称是“Apache Impala”。Impala为Hadoop上的BI /分析查询提供低延迟和高并发性（不是由Apache Hive等批处理框架提供）。即使在多租户环境中，Impal...

启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。安装准备jar包1）先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip2）下载后的文件名是hadoop-lzo-master，它是一个zip格式的压缩包，先进行解压，然后用maven编译。生成...

在MapReduce执行的过程中，会把任务的原始数据分片到多个Task中执行。想象以下场景，当任务的多数Task都在短时间内完成，只有个别Task执行的时间特别长，从而拖慢了整个任务的执行速度，浪费了资源。表现形式就是任务进度卡在99%，这种现象就是数据倾斜。MapReduce流程：① 文件分片，一个分片交由一个map task执行② map task首先把数据从磁盘读入内存环形缓冲区，在...

在大数据离线计算平台上每天会有上万个任务在执行，对cpu、内存、存储资源由极大的消耗，那么如何降低资源使用率、提高计算效率，就涉及到计算优化的问题。从系统优化方面来讲：HBO1）HBO 是根据任务的历史执行情况优化资源分配2）HBO方案提出：① 在Hadoop中map task与reduce task的task个数分配是根据用户提交的任务总数据量和每个map task能处理的数据量决定的。...