数据库
文章平均质量分 51
wen0220
linux、java、scala、hadoop、spark、es等
展开
-
gbase集群加载入库与导出文件
背景:常用加载与导出语句,与其他数据库基本无差,mark下脚本里的sql执行`cat /opt/script/gbase/gbase.txt` -Dstg_noas -vvv -f</opt/script/temp/test.sql用户密码通常写在gbase.txt中加载:load data infile 'ftp://user:pwd@ip/dir/*.gz' into table ta...原创 2018-05-17 12:32:29 · 6843 阅读 · 1 评论 -
gbase集群优化-建表时指定压缩模式
背景:gbase使用过程中可合理的指定不同的压缩模式,有的表需要高存储,但是不需要高操作,有的表要保证查询性能,可以通过指定压缩比的做法,达到集群的高可用性。列级 int型压缩方式选项:0,1,5列级 char型压缩方式选项:0,3,5表级组合压缩方式为:(0,0)、(1,3)、(5,5),第一位为int型压缩方式,第2列为char型压缩方式压缩方式优先级:列压缩> 表压缩 > 全局压...原创 2018-05-17 12:50:26 · 2048 阅读 · 0 评论 -
gbase数据库更改字段类型
背景:gbase数据库不支持直接修改列的数据类型如( ALTER TABLE t MODIFY b varchar(10) 这种语句),这里提供一个方法假设有表“t”有两个字段“a”“b”数据类型都为varchar(10)现在要将“b”的数据类型改为int(10)1.在“b”后边添加一个新字段“c”数据类型int(10)alter table t add column c int(10) aft...原创 2018-04-27 19:03:44 · 14967 阅读 · 3 评论 -
kettle连接gbase数据库
背景:kettle作为一个高效的数据抽取工具,工作中经常用来抽取数据,自带一些mysql、oracle的连接就不说了,作为一个纯java的软件,连接gbase,依赖一个gbase的连接驱动就好了。1.安装好kettle软件2.如下图,将准备好的gbase驱动jar放入如下目录。D:\kettle_20150824\data-integration\libext\JDBC3.kettle_20150...原创 2018-05-24 15:17:06 · 9924 阅读 · 6 评论 -
gbase里的分布表与复制表
背景:数据库使用过程中,一个合适类型的表,会提高sql执行的效率,也可以合理利用服务器空间。一.分布表分布表可以使数据按指定的策略分布存储在不同的主机上,从而实现分布式数据存储和分布式计算,解决大数据存储容量扩展和计算性能扩展的问题。分布策略:采用hash分布、random分布策略存储数据默认创建的表是随机分布表,每个节点上只保留部分表数据。随机分布表如下:CREATE TABLE table1(...原创 2018-07-09 22:01:24 · 10066 阅读 · 2 评论 -
gbase入库时过滤不需要的字段
背景:接入一个文件有10列,但是有用的可能就4列,多的字段入库影响速度,又占用空间,gbase支持入库时过滤,如下。1.有一个表有2列。phone,imsi2.文件有4列,“|”分割3.执行入库命令load data infile 'ftp://noas:87HEBq@192.168。1.1/data/data/temp/test.txt' into table test.jiangwen_tes...原创 2018-07-13 15:08:39 · 1348 阅读 · 0 评论 -
gbase远程导出数据“rmt”
背景:数据存储节点,最好只做入库数据的存储,保证集群空间的均衡。而且集群的计算压力很大,一般数据直接导出到加载的etl服务器再做其它处理。1.准备条件在etl服务器安装gbase客户端2.远程登陆客户端/data/gcluster/server/bin/gbase -u用户名 -p密码 -h192.168.0.03.rmt导出语句rmt:select * from test.temp_test ...原创 2018-07-14 15:14:32 · 4176 阅读 · 2 评论