vertica的这些事
文章平均质量分 52
vertica数据库的实践与总结
数据社
欢迎关注公众号:数据社
展开
-
聊聊数据库
数据库的发展基本上也是伴随着计算机技术经历了40年的历史,从最初的文件系统上的文件,到有结构的层次和网状数据库,一直到今天被广泛使用的关系型数据库。随着互联网和物联网行业的兴起,数据量飞速增长,对大数据的采集、存储和应用是每个数据库必备的技能。现在大多数应用都是数据存储密集型,而不是计算密集型。数据存储发展众所周知,文明的发展离不开信息的积累,而任何东西的积累离不开存储。因此,信息存储是文明发展的重要环节,从某种意义上讲,甚至可以说是人类迈入文明社会的标志之一。在历史上,人类曾经创造过很多信息存储的.原创 2020-05-29 14:57:45 · 25514 阅读 · 0 评论 -
Vertica的这些事(十八)—— Vertica备份元数据信息
---备份资源池SELECT 'CREATE RESOURCE POOL ' || name || CASE WHEN memorysize IS NULL THEN ' ' ELSE ' MEMORYSIZE ' || '''' || memorysize || ...原创 2018-05-24 14:59:46 · 6674 阅读 · 0 评论 -
Vertica的这些事(十五)—— vertica存储统计信息
vertica存储统计信息:表数量:select count(distinct table_name) FROM tables;分区表数量:select count(distinct table_name) from PARTITION_COLUMNS;总表占大小:SELECT sum(used_bytes)/1024/1024/1024 FROM project...原创 2018-05-24 14:58:31 · 6741 阅读 · 0 评论 -
Vertica的这些事系列书籍
Vertica系列文章已整理PDF,方便各位下载学习。Vertica系列文章下载地址原创 2019-12-18 10:52:10 · 15735 阅读 · 0 评论 -
Vertica的这些事(十七)——Vertica消费kafka答疑
关于如何消费kafka数据,请参看Vertica的这些事(十四)——Vertica实时消费kafka实现最近有小伙伴提出了消费kafka的一些疑问,答疑如下:#####1、 Vertica消费kafka机制是什么?Vertica通过scheduler来按定义的频度调度执行copy table from kafkasource(…)来从kafka的主题加载数据。#####2、 Vertic...原创 2018-11-21 08:12:55 · 9612 阅读 · 0 评论 -
Vertica的这些事(十六)——Vertica如何建表
大家看到题目可能会想,建表谁不会呀,还用讲嘛?但是如何建表能使你的应用查询更加快呢?####Anatomy of a ProjectionThe [CREATE PROJECTION]statement defines the individual elements of a projection, as the following graphic shows.The previ...原创 2018-11-21 08:12:32 · 25088 阅读 · 3 评论 -
《Vertica的这些事》系列文章
HPVertica是一款MPP数据库,其列式存储对于OLAP分析很方便。 HPE Vertica is the most advanced SQL database analytics portfolio built from the very first line of code to address the most demanding Big Data analytics...原创 2016-11-03 13:18:09 · 2742 阅读 · 2 评论 -
Vertica的这些事(十四)—— Vertica备份元数据信息
—备份资源池SELECT 'CREATE RESOURCE POOL ' || name || CASE WHEN memorysize IS NULL THEN ' ' ELSE ' MEMORYSIZE ' || '''' || memorysize || '''' END原创 2016-11-01 17:01:33 · 2176 阅读 · 0 评论 -
Vertica的这些事(十三)——Vertica中实现Oracle中的ws_concat功能
vertica中没有类似Oracle中的ws_concat函数功能,需要开发UDF,自己对C++不熟悉,所有只有想其他方法解决了。 上代码:SELECT node_state, MAX(DECODE(row_number, 1, a.node_name)) || NVL(MAX(DECODE(row_number, 2, ',' || a.node_name)), '') ||原创 2016-10-26 18:55:59 · 15919 阅读 · 2 评论 -
Vertica的这些事(十一)—— vertica中group by 和join 语句的优化
vertica group by优化语句,先对语句进行explain 操作查看预执行计划,其中group by 分为 GROUPBY PIPELINED 和 GROUPBY HASH,通过执行计划可以清楚的看到vertica到底采用的那种执行方式,优化一般就是吧GROUPBY HASH优化为GROUPBY PIPELINED 下面讲一下官网举得例子CREATE TABLE sortopt (原创 2016-09-22 19:31:11 · 3599 阅读 · 0 评论 -
Vertica的这些事(四)—— 关于vertica常用函数介绍(持续更新ing)
取绝对值:select abs(-1);向上取整:select ceil(-1.001);向下取整:selectfloor(-1.001);取整:select trunc(-1.002);四舍五入:select round(1.23456,4.0);取随机数:select random();数值比较:select greatest(1,-2,4,3);链接字符:select原创 2016-02-25 14:17:21 · 65731 阅读 · 7 评论 -
Vertica的这些事(八)—— SQL Server、Oracle、MySQL和Vertica数据库常用函数对比
SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。绝对值S:select abs(-1) valueO:select abs(-1) value from du原创 2016-08-08 17:59:25 · 6183 阅读 · 0 评论 -
Vertica的这些事(十)—— Vertica停止数据库的操作步骤
vertica stop database原创 2016-09-13 12:05:53 · 2671 阅读 · 0 评论 -
Vertica的这些事(九)—— 关于vertica的Connection Failover
最近在生产中发现vertica有个别节点老是宕机(又碰到的童鞋交流下),实际业务中有Python通过odbc连接vertica,还有Java通过jdbc连接vertica。假如你连接的那个节点正好是down的节点或者是standby节点,那么就会连接失败,程序就会报错,影响正常业务。其实vertica官方文档已经给出了解决方法,下面我们来看一下如何实现。ODBC Connection Fail...原创 2016-08-23 17:42:51 · 3051 阅读 · 0 评论 -
VSQL常用命令
Linux环境下,一般都是使用vsql客户端连接vertica来执行命令的,下面就介绍一下vsql常用的命令有哪些。导出数据/opt/vertica/bin/vsql -U $usr -p 5433 -h 172.17.12.208 -w $pwd -At -o /home/zyzx/20160809.dat -c "select * from tb_test;"默认是以‘|’分割的,指定分隔符如下原创 2016-08-09 15:51:20 · 59989 阅读 · 3 评论 -
Vertica的这些事(七)—— vertica加密数据
通过创建 Secure Access Policies可以对vertica中的某一列数据进行加密:CREATE ACCESS POLICY ON [schema][tablename]FOR COLUMN columnnameexpression[ENABLE/DISABLE];例如:CREATE ACCESS POLICY ON customers_tableFOR COLUMN SSN原创 2016-08-08 17:34:56 · 2136 阅读 · 2 评论 -
Vertica的这些事(六)—— vertica存储统计信息
vertica存储统计信息:表数量: select count(distinct table_name) FROM tables;分区表数量:select count(distinct table_name) from PARTITION_COLUMNS;总表占大小:SELECT sum(used_bytes)/1024/1024/1024 FROM projection_storage ;分区表原创 2016-08-03 14:25:40 · 2795 阅读 · 0 评论 -
Vertica的这些事(三)—— 谈谈vertica的flex table
Json格式对于现在所有的软件开发者都不陌生,很多数据格式都用他来存储,我们来看一下vertica是怎么处理json数据的。这就是vertica的flex table!首先创建一个json文件:{"name": "Everest", "type":"mountain", "height":29029, "hike_safety": 34.1}{"name": "Mt St Helens", "ty原创 2016-07-12 21:57:23 · 2650 阅读 · 0 评论 -
Vertica的这些事(五)—— vertica优化
DELETE_VECTORS数据模型:1、 规范化你的表2、 使用核实的压缩格式表设计:1、 使用分区2、 定义主键外键3、 默认的数字类型长度可能比实际需要的大。例如:NUMBERC 该类型默认的长度是38位,如果实际的长度比这个小,那你建表的时候最好加上适合的长度。4、 对于一个True/False值,Boolean类型比char(1)类型和inte原创 2016-07-04 18:57:48 · 3956 阅读 · 0 评论 -
Vertica的这些事(二) vertica建表的一些规则
Anatomy of a ProjectionTheCREATE PROJECTIONstatement defines the individual elements of a projection, as the following graphic shows.The previous example contains the following significant elements...原创 2016-06-28 11:19:49 · 6078 阅读 · 0 评论 -
Vertia的这些事(一)—— 关于vertica的常用操作
在工作中用到vertica,环境都是直接HP的人来部署的,在网上查也很少有学习资料,一下总结了一部分常用操作,仅供参考:进入vertica的sql环境:vsql -d dbname -w passwd创建序列:CREATE SEQUENCE sq1 MAXVALUE 5000 START 1;使用序列:SELECT NEXTVAL('my_seq');删除序列:DROP SEQ原创 2016-02-19 11:15:59 · 13678 阅读 · 3 评论 -
Vertica的这些事(十九)—— vertica备份与恢复
vertica 备份与恢复原创 2016-05-05 17:13:04 · 5007 阅读 · 0 评论