- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun】
打开跳板效率会更高。
2023-07-13 12:57:31
202
原创 【YMatrix数据联邦】使用PXF访问S3对象存储
在 YMatrix 集群的主节点上面，以 mxadmin 用户执行以下命令，同步pxf配置文件到集群所有节点上。在 YMatrix 集群的主节点上面，以 mxadmin 用户执行以下命令，同步pxf配置文件到集群所有节点上。在 YMatrix 集群的主节点上面，以 mxadmin 用户执行以下命令，同步pxf配置文件到集群所有节点上。在 YMatrix 集群的主节点上面，以 mxadmin 用户执行以下命令，启动 pxf 服务。在 YMatrix 集群的主节点上，以 mxadmin 用户执行以下命令。
2023-04-18 18:12:59
480
原创 2021-09-07 gpfdist ERROR 404 permission denied
gpfdist ERROR 404 permission denied使用背景使用逻辑报错截图报错分析排查思路解决方案使用背景使用 gpfdist 协议外部表进行卸数。使用逻辑通过在 gpfdist server 上面创建 writable external table，通过 insert into <ext_table_name> select * from … 来将符合条件的数据导出，从而达到卸数的目的。报错截图报错分析从报错截图结合使用逻辑分析，需要在 gpfdist s
2021-09-07 12:45:35
365
原创 HashData外部表分隔符 E‘\001‘
外部表分隔符尽可能的不要使用换行符或者回车符作为分隔符。DELIMITER默认情况下 text 格式导出文件，分隔符为制表符。csv 格式导出文件为逗号。将分割符替换为 ASCII 码替换分隔符为 \001$ cat replaceScript.sh#!/bin/sh# 生成隐藏字符soh=`echo 1 | awk '{printf("%c", $1)}'` replaceWord=$1# 替换开始sed -i 's/'$replaceWord'/'$soh'/g' $2de
2020-11-18 11:53:41
671
原创 CSV&TEXT格式数据文件如何通过外部表的方式导入HashData在青云上面的应用
CSV&TEXT格式数据文件如何通过外部表的方式导入HashData在青云上面的应用优势：操作简单，不需要额外的ETL工具导入是多实例并发执行，效率大概在每个 instance 10-15MB/s如何通过外部表将 csv & text 格式数据文件，导入到hashdata数据仓库，简约步骤如下：1 - 创建与hashdata集群在同一区域的对象存储。2 - 创建API秘钥对。3 - 为每一张表创建外部表。4 - 通过 insert into <table_name
2020-08-23 22:16:59
318
原创 HashData如何找到并合法清理进程会话
HashData如何找到并合法清理进程会话查看指定数据库存在的用户进程存在一些疑问点查看指定数据库存在的用户进程此处我们以 warehouse 数据库为例：warehouse=# select * from pg_stat_activity; datid | datname | procpid | sess_id | usesysid | usename | current_query | waiting | query_start
2020-08-23 21:27:17
167
原创 关于数据同步（Oracle 2 HashData）
需要从 Oracle 同步数据到 HashData1- 全量同步。 1.1- 将表结构创建到对应的 HashData 数据库中。 1.2- 数据同步： 1.2.1- 使用 spoof 将 Oracle 中表的数据导出为 TXT 文件后，使用 copy 导入 HashData. 1.2.2- 使用 kettle 将 Oracle 中表的数据导入到 HashData。 1.2....
2019-11-22 19:09:41
265
原创 HashData之PostGis实验（一）
本次我们就从能找到的一些基础来做一些 PostGis 熟悉性的实验。首先说明一下添加 postgis 插件的方法：切换到HashData管理用户下，默认情况下是（gpadmin）执行以下 SQL：psql -d <DATABASE_NAME> -f /opt/gpsql/share/postgresql/contrib/postgis-2.1/postgis.sqlpsq...
2019-11-08 00:25:02
268
原创 关于 HashData 一台 segment host 上面多个 instance 连接对象存储报错问题
Cannot assign requested addressenvironment:master+standby +4segment 12 instance per segment hostwhen insert into table about 200 million rows.It through out error like bellow:solutionadd the ...
2019-05-23 10:13:43
143
原创 Greenplum - Too many session
问题描述在 Greenplum 4.3.2 版本中遇到。数据库不接收任何指令（psql/gpstop/gpstate/gpconfig）。在执行过程中都会抛出错误：Too many sessions 。问题分析首先判断是不是真的数据库连接数很多，master 节点上面管理用户下执行：ps -aux|grep postgres|grep "con"查看数据库的配置参数：gpconfig...
2019-04-18 23:06:10
2021
原创 关于 COPY 导入数据的问题
关于COPY导入数据的问题（一）COPY 的语法：COPY table [(column [, ...])] FROM {'file' | PROGRAM 'command' | STDIN} [ [WITH] [ON SEGMENT] [OIDS] [HEADER] [DELIMITER [ AS ] 'delimiter'...
2019-04-18 22:44:13
1346
原创 HashData 复合主键
HashData 复合主键HashData 是支持复合主键的。在创建过程中，会同时创建一个唯一性复合索引。示例创建一个简单的测试表---create table create table t_coposite_keys (id int,name varchar,age int,primary key (id,name));查看一下默认创建的索引---select ...
2019-01-28 15:24:10
240
原创 ssh_exchange_identification: Connection closed by remote host
ssh_exchange_identification: Connection closed by remote host背景 在使用 gpinitsystem 初始化数据库的时候，如果一个 segment host 上面的 segment instance 个数过多的情况下。可能会出现这个错误。解决方案分析：可能是系统 ssh 连接数满了处理：先运行 lsof -i:22 查看 s...
2018-11-08 14:20:57
3333
原创 HashData 数据库故障处理（一）
项目背景在混合使用的环境中，特别是测试环境。如果数据库长时间没有使用，再次使用的时候可能会遇到数据库不能使用的情况，导致这个情况出现的原因：在没有正常关闭 HashData 数据库的情况下进行了集群中某些机器的重启。服务器时间未做 ntp 时钟同步，时差过大。修改了防火墙信息。人为误操作，导致数据库进程不正常关闭。此文仅面对第一种情况。报错信息在长时间未使用数据库，...
2018-09-12 10:17:27
1503
原创 org.apache.thrift.transport.TTransportException: Could n ot create ServerSocket on address /0.0.0.0:
Exception in thread “main” java.lang.RuntimeException: java.lang.RuntimeException: org.apache.thrift.transport.TTransportException: Could n ot create ServerSocket on address /0.0.0.0:29998. ...
2018-08-31 16:10:57
1975
原创 HashData-用户自定义类型
本章概要：简单介绍 create type 类型的创建和使用。留后补充case1：创建一个 compfoo 数据类型：CREATE TYPE compfoo AS (f1 int, f2 text);创建一个表 foo，插入两条测试数据：create table foo(fooid int,fooname varchar);insert into foo valu...
2018-08-31 10:44:36
699
原创 HashData数据插入（integer DEFAULT NULL）
本章概要通过 COPY 命令从文件中读取数据插入表中。当表中列为 integer 类型，并且文件中对应列为空。实例创建测试表 test：drop table test;create table test(id int,"qycp_id" integer DEFAULT NULL)distributed randomly;创建测试导入文件 test.txt ,文件内容...
2018-08-17 11:40:16
450
原创 关于内核参数被覆盖的问题
本文概要在混合部署的情况下，难免会遇到设置内核参数的情况，当两个系统软件对内核参数需求不同的情况下，则不可避免的会出现内核参数被覆盖的问题。问题描述HashData 1.4 版本从图中可以看到存在两个内核参数文件，在优先级上面来说，99-sysctl.conf 优先级高于 00-gpdb.conf ，而且 99-sysctl.conf 是后添加的文件，因此 99-sysctl....
2018-08-16 11:57:35
381
原创 MySQL2HashData不能正常转换数据格式测试
本文概要：在从 MYSQL 到 HashData 数据迁移的过程中，使用 db_convert.py 进行导出文件的格式转换，在转换过程中遇到的不能正常转换的数据格式。此处仅仅针对项目过程中遇到的一些问题做了归纳整理，所以不尽完善。仅供参考记录。MySQL 相关特殊数据格式create table test(id int not null, YDLC float(10,2) NOT ...
2018-08-16 10:05:32
204
原创 Homebrew 安装 kettle 过程中报错 for Mac
报错信息如下zhangzhandeMacBook-Pro:Homebrew zhangzhan$ brew install kettle==> Downloading https://downloads.sourceforge.net/project/pentaho/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zipAlready down...
2018-04-19 09:56:19
1660
原创 HashData 关于表的访问权限的问题
背景：我们有时候可能希望将 shema 中的现有表以及未来创建的表的 select 权限分配给用户。在 PostgreSQL 9.0 及以后版本新增了 ALL TABLES IN SCHEMA 语法，是可以实现以上功能需求的。GRANT { { SELECT | INSERT | UPDATE | DELETE | TRUNCATE | REFERENCES | TRIGGER } ...
2018-04-11 09:58:06
263
原创 使用gitbook生成PDF报错问题
虽然是一个很小的问题，但是耗费的时间一点都不少。仅此记录，以免下次使用时发生错误。报错信息如下：bash-3.2# gitbook pdf /Users/zhangzhan/Desktop/test /Users/zhangzhan/Desktop/test6.pdf -dinfo: 7 plugins are installed info: 6 explicitly listed...
2018-03-22 11:26:02
2703
1
翻译 HashData 内存相关参数说明
max_statement_mem设置每个查询最大使用的内存量，该参数是防止 statement_mem 参数设置的内存过大导致的内存溢出。statement_mem设置每个查询在 segment 主机中可用的内存，该参数设置的值不能超过 max_statement_mem 设置的值，如果配置了资源队列，则不能超过资源队列设置的值，其计算公式为 ( gp_vmem_protect_...
2018-03-16 13:23:46
766
翻译 HashData 常用数据类型
HashData 常用数据类型HashData 的数据类型基本跟 PostgreSQL 的一样，类型十分丰富，下面介绍几种最常见的数据类型。对于 HashData 支持的其他数据类型，读者可以参考 PostgreSQL 文档。数值类型表一： HashData 支持的数据类型 —- 数值类型 类型名称 存储空间 描述 范围 smallint...
2018-03-16 09:48:45
1933
原创 在使用ambari进行安装部署过程中遇到的glibc问题
在使用ambari进行安装部署过程中遇到的glibc问题使用 yum check rpm -e rpm -q 处理问题报错信息如下：stderr: Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/AMBARI_METRICS/0.1.0/package/s
2018-01-09 14:33:35
2146
原创 Mac 如何配置免密访问远程主机
Mac 如何配置免密访问远程主机1、 在本地主机生成密钥对。 ssh-keygen -t rsa2、 将本地密钥对拷贝到远程主机相同的目录下。 scp id_rsa [email protected]:/root/.ssh/ scp id_rsa.pub [email protected]:/root/.ssh/3、 在远程主机生成 authorized_keys 认证文件。 cat id_rs
2017-12-04 14:10:52
190
原创 HashData 数据仓库离线安装手册
HashData 数据仓库离线安装手册第一章：文档概述1.1 适用范围本安装手册适用于 HashData 数据仓库 V1.2.2 版本的离线安装操作。本安装手册适用于 Redhat Linux 7.0 以上版本和 CentOS 7.0 以上版本的操作系统。本安装手册适用于开发测试环境的安装部署。生产环境的安装部署请联系售后。第二章：安装前的准备2.1 操作系统准备2.1.1 操作系统要求R
2017-07-25 11:41:10
926
原创 hashdata关于分区表权限管理&hashdata关于多权限（相对固定的权限）多人员的情况下的权限管理
1. hashdata关于分区表权限分配的问题？日常工作中，针对一些大表，我们可能会进行分区处理，即创建分区表。分区表可能存在一个或几个分区，也可能会存在几十个或者上百个分区。当我们想要将这个分区表的select,insert,updata,delete等权限分配给用户时，分区比较少的情况可以直接将各个分区的对应权限分配给用户，可是分区比较多的时候，我们如果还采用将子分区的权限分配给用户的话，将会极
2017-07-25 11:39:39
505
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人