vertica日常
文章平均质量分 52
发歌的数据架构
这个作者很懒,什么都没留下…
展开
-
vretica自动收集统计信息脚本
程序如下[dbadmin@verdb-77 ~]$ vi hiatory_analyze_statistics.sh#!/bin/bash# Program# This program is for history vertica database ANALYZE_STATISTICS collection,and this program is # r原创 2015-12-18 17:59:00 · 437 阅读 · 0 评论 -
vertica-数据库强制关闭
三种方法方法1:admintools -t stop_db -d EmBigData -p ******* -F可以在关闭时候加-F让数据库强制关闭方法2:强制数据库关闭命令SHUTDOWN命令,是当有连接的时候也会强制关闭数据库。SELECT SHUTDOWN('true');此时数据库已经关闭方法三:逐个关闭超级用户进程S原创 2016-05-27 21:44:38 · 1397 阅读 · 0 评论 -
vertica-备份
配置备份文件,在这里直接配即可,没必要生成[dbadmin@T4 ~]$ vi snapshot01.ini[Misc]snapshotName = snapshot01restorePointLimit = 1objectRestoreMode = createOrReplacepasswordFile = pwd[Database]dbName原创 2016-05-27 21:52:47 · 466 阅读 · 0 评论 -
vertica-对象级备份
1、 对象级备份如果同一个备份集中有多个对象,恢复时会一并恢复2、 对于有多个对象的系统,对象级备份可以在并发在多个备份机进行配置参数文件[dbadmin@verdb-56120 ~]$ /opt/vertica/bin/vbr.py --setupconfigSnapshot name (backup_snapshot): obj_web_backupNumber of re原创 2016-05-27 21:57:39 · 438 阅读 · 0 评论 -
vertica-备份的恢复
除了对象级备份外,恢复前数据库必须是down的状态删除节点1的数据文件[dbadmin@verdb-56120 fafa]$ rm -rf v_fafa_node0001_data/下面进行恢复[dbadmin@verdb-56120 ~]$ vbr.py --task restore --config-file fafa_backup_1201.iniPreparing...原创 2016-05-27 22:05:40 · 788 阅读 · 0 评论 -
vertica-清除删除数据
已经删除的表或者表中的行会放在storage_containers表中dbadmin=> select * from storage_containers where deleted_row_count >0; node_name | schema_name | projection_id | projection_name | storage_ty原创 2016-05-27 22:09:00 · 5282 阅读 · 3 评论 -
vertica-优化编码
vertica有各种各样优秀的编码方式,由于起初表里面没有数据,导致编码不尽合理,可以使用dbd进行编码重新调整三步1,运行DB Designer进行增量的设计2,增量设计之后,运行ANALYZE_STATISTICS收集统计信息3,对增量设计的SQL运行EXPLAIN以验证是否使用了新的ProjectionREFRESH语法REFRESH ( '[[db-name.]原创 2016-05-27 22:17:07 · 1810 阅读 · 0 评论 -
vertica-distinct,projection的segment by,order by
1,计算distinct聚合比其他聚合更消耗资源,查询中distinct聚合能够替换成其他聚合往往效率更高注意:多个distinct聚合语句不能非常直接的重写,而且没有办法让Projection避免进行GROUP BY HASH和数据重新分段,也就是说此事将会有hash by重新计算,然后排序,各节点数据重新分布(注意这里的分布都是不落地的),然后在运算,这样是极其不合理的。为了保证正常运原创 2016-05-28 08:39:54 · 4319 阅读 · 0 评论 -
vertica-创建超级用户
介绍一下PSEUDOSUPERUSER 角色的权限(系统自带)Create schemasCreate and grant privileges to rolesBypass all GRANT/REVOKE authorizationSet user account's passwordsLock and unlock user accountsCreate or dro原创 2016-05-28 13:25:29 · 922 阅读 · 0 评论 -
oracle导入csv文本文件到vertica
COPY tmp.tmp_totaluid FROM '/home/dbadmin/zhangsan.csv' EXCEPTIONS '/tmp/exp.log' DELIMITER e'\t';导入有空格的csv文件COPY app.App_Agg_Level2_Monitor FROM '/home/dbadmin/test3.csv' EXCEPTIONS '/tmp/exp原创 2016-05-23 20:41:30 · 1565 阅读 · 0 评论 -
查看数据存储情况,强制wos数据进入ros
SELECT p.projection_name, sc.node_name, sc.storage_type, sc.location_label FROM projections p LEFT JOIN storage_containers sc ON sc.projection_name = p.projection_na原创 2016-05-23 20:46:45 · 1047 阅读 · 0 评论 -
vertica-console
root用户安装软件#rpm -Uvh /mnt/hgfs/setup/vertica-console-7.2.1-2.x86_64.RHEL6.rpm访问: https://节点ip:5450/webui下一步下一步选择日志路径和数据文件路径,临时文件路径完成这里输入dbadmin用户密码选择导入数据库导原创 2016-05-27 21:04:21 · 1146 阅读 · 0 评论 -
vertica-安装
设置节点的hosts文件使用vi编辑/etc/hosts文件,添加如下内容:192.168.231.100 fafa设置语言和时区使用vi编辑/etc/profile文件,添加如下内容:LANG="en_US.UTF-8"export LANGTZ="Asia/Shanghai"export TZ修改/etc/rc.localecho d原创 2016-05-27 20:46:54 · 3008 阅读 · 1 评论 -
vertica-使用dbvis工具报I O错误
首先我们查看vertica错误信息表select * from error_messages where message like '%IOException%';发现并没有错误记录,说明不是数据库问题是因为网络不稳定,工具错误导致,使用工具容易因网络问题报错原创 2016-05-25 21:35:56 · 499 阅读 · 0 评论 -
truncate与delete的区别
truncate table命令将快速删除数据表中的所有记录,但保留数据表结构。这种快速删除与delete from 数据表的删除全部数据表记录不一样,delete命令删除的数据将存储在系统回滚段中,需要的时候,数据可以回滚恢复,而truncate命令删除的数据是不可以恢复的可以做一个测试建一个带有自增字段的表,加入100万数据然后分别用TRUNCA转载 2015-12-18 18:01:16 · 523 阅读 · 0 评论 -
删除表报错
drop table tmp.web_Dim_Page_lvjian; 在drop后面加cascade即可原创 2015-12-18 18:03:32 · 514 阅读 · 0 评论 -
vertica-dbvis实现failover和负载均衡
dbvis是vertica常用工具,vertica实现负载均衡需要在其中设置(注意vertica里面参数SEECT_LOAD_BALANCE_POLICY设置负载均衡策略)由于dbvis工具自带jar包太老了,所以需要换一个新的jar包,7.0以后vertica才支持负载均衡注意这里最好写ip。原创 2016-05-24 22:05:48 · 624 阅读 · 0 评论 -
vertica-手动关session
查看正在执行的请求select * from query_requests where is_executing='true'关闭对应请求select CLOSE_SESSION ( 'verdb-1091.eastmone-143932:0x35909' )select CLOSE_SESSION ( 'verdb-1091.eastmone-143932:0x60fe原创 2016-05-24 22:11:52 · 1053 阅读 · 0 评论 -
vertica-Rebalance用法
1,标记一个或多个节点作为临时准备从集群中删除它们2,添加一个或多个节点的集群,惠普Vertica可以用数据填充空节点3,改变一个弹性集群的缩放因子,它决定用于存储在数据库中的投影的存储容器的数量4,设置控制节点的大小或调整控制节点的大型集群上的布局5,从故障组中添加节点或删除节点语法是REBALANCE_TABLE('schema.table_name')即他可以在指原创 2016-05-25 20:09:36 · 845 阅读 · 0 评论 -
vertica-添加节点
添加节点到vertica集群首先必须配置好节点的配置信息注意各个节点都要配hosts接着配置dbadmin用户ssh无秘钥访问以下操作用root用户执行/opt/vertica/sbin/update_vertica --add-hosts 10.10.*** 注意报错中出现fail的信息在root下执行echo dea原创 2016-05-25 21:01:44 · 1363 阅读 · 0 评论 -
vertica-修改表结构(涉及vertica底层的操作)
vertica这一mpp型数据库还是有很多不同的地方,vertica的表就相当于一个’视图‘一样并不存储数据,数据都在其对应的projection中,由于这些projection事记录在vertica系统信息里面的,记录在vertica系统信息里面的东西修改很困难,所以涉及此类问题我们一般都不得不重建表。这里要提到若是表的某个字段未写入系统信息得情况,例如若某个字段没有在projection中原创 2016-05-25 21:14:09 · 6772 阅读 · 0 评论 -
vertica-ksafe
查看ksafe状态SELECT current_fault_tolerance FROM system;寻找当ksafe等于1时候相关的节点SELECT * FROM v_monitor.critical_nodes;设置不同ksafe值对节点的要求K-level Number of Nodes Required 1原创 2016-05-25 21:17:07 · 1724 阅读 · 0 评论 -
vertica-卸载
先关数据库注意关掉数据库前要退出所有连接,或者加-F强制关闭,或者SELECT SHUTDOWN('true');每个节点执行sudo rpm -e vertica-7.1.2-0.x86_64 --卸载rpm包sudo rm -rf /opt/vertica --卸载软件sudo rm -rf /data1/history --删除数据文件,红色部分是数据库名称原创 2016-05-25 21:22:31 · 1335 阅读 · 0 评论 -
vertica-资源池
语法CREATE RESOURCE POOL pool-name... [ MEMORYSIZE {'sizeUnits' |DEFAULT }]... [ MAXMEMORYSIZE {'sizeUnits' | NONE |DEFAULT }]... [ EXECUTIONPARALLELISM {int | AUTO | DEFAULT} ]... [ PRIORITY原创 2016-05-25 21:30:49 · 1107 阅读 · 0 评论 -
vertica-cascade危险操作
实验证明:drop table tmp.zhuga;create schema zhuga;create sequence zhuga.test_seq;create table tmp.zhuga(name varchar(10),id int default nextval('zhuga.test_seq'));insert in原创 2016-06-17 10:30:14 · 827 阅读 · 0 评论