- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 mongo-单节点安装
文件夹建立mongodb@bd-qa-mongodb-85:/opt/app/mongodb$lsconfig data keyfile log mongodb-linux-x86_64-rhel62-3.2.5 mongodb-linux-x86_64-rhel62-3.2.5.tgz配置文件mongodb@bd-qa-mongodb-85:/opt/app/m
2016-05-28 13:36:58
2316
原创 vertica-创建超级用户
介绍一下PSEUDOSUPERUSER 角色的权限（系统自带）Create schemasCreate and grant privileges to rolesBypass all GRANT/REVOKE authorizationSet user account's passwordsLock and unlock user accountsCreate or dro
2016-05-28 13:25:29
936
原创 vertica-distinct，projection的segment by，order by
1，计算distinct聚合比其他聚合更消耗资源，查询中distinct聚合能够替换成其他聚合往往效率更高注意：多个distinct聚合语句不能非常直接的重写，而且没有办法让Projection避免进行GROUP BY HASH和数据重新分段，也就是说此事将会有hash by重新计算，然后排序，各节点数据重新分布（注意这里的分布都是不落地的），然后在运算，这样是极其不合理的。为了保证正常运
2016-05-28 08:39:54
4395
原创 vertica-优化编码
vertica有各种各样优秀的编码方式，由于起初表里面没有数据，导致编码不尽合理，可以使用dbd进行编码重新调整三步1，运行DB Designer进行增量的设计2，增量设计之后，运行ANALYZE_STATISTICS收集统计信息3，对增量设计的SQL运行EXPLAIN以验证是否使用了新的ProjectionREFRESH语法REFRESH ( '[[db-name.]
2016-05-27 22:17:07
1841
转载 vertica-之left join、right join、inner join的区别
left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录inner join(等值连接) 只返回两个表中联结字段相等的行举例如下：--------------------------------------------表A记录如下：aID aNum1
2016-05-27 22:11:47
1621
原创 vertica-清除删除数据
已经删除的表或者表中的行会放在storage_containers表中dbadmin=> select * from storage_containers where deleted_row_count >0; node_name | schema_name | projection_id | projection_name | storage_ty
2016-05-27 22:09:00
5393
3
原创 vertica-备份的恢复
除了对象级备份外，恢复前数据库必须是down的状态删除节点1的数据文件[dbadmin@verdb-56120 fafa]$ rm -rf v_fafa_node0001_data/下面进行恢复[dbadmin@verdb-56120 ~]$ vbr.py --task restore --config-file fafa_backup_1201.iniPreparing...
2016-05-27 22:05:40
807
原创 vertica-对象级备份
1、 对象级备份如果同一个备份集中有多个对象，恢复时会一并恢复2、 对于有多个对象的系统，对象级备份可以在并发在多个备份机进行配置参数文件[dbadmin@verdb-56120 ~]$ /opt/vertica/bin/vbr.py --setupconfigSnapshot name (backup_snapshot): obj_web_backupNumber of re
2016-05-27 21:57:39
453
原创 vertica-备份
配置备份文件，在这里直接配即可，没必要生成[dbadmin@T4 ~]$ vi snapshot01.ini[Misc]snapshotName = snapshot01restorePointLimit = 1objectRestoreMode = createOrReplacepasswordFile = pwd[Database]dbName
2016-05-27 21:52:47
477
原创 vertica-数据库强制关闭
三种方法方法1：admintools -t stop_db -d EmBigData -p ******* -F可以在关闭时候加-F让数据库强制关闭方法2：强制数据库关闭命令SHUTDOWN命令，是当有连接的时候也会强制关闭数据库。SELECT SHUTDOWN('true');此时数据库已经关闭方法三：逐个关闭超级用户进程S
2016-05-27 21:44:38
1434
原创 vertica-not fit in memory
ERROR: Join [(web_test.Web_Dim_Domain x web.JSLogRecord) using Web_Dim_Domain_b0 and JSLogRecord_DBD_5_seg_c_stg_web2_b1 (PATH ID: 8)] inner partition did not fit in memory; value [cp.eastmoney.com]
2016-05-27 21:40:16
3994
4
原创 vertica-磁盘执行export出现insufficient space报错
尝试增加磁盘空间添加磁盘语法CREATE LOCATION 'path' {NODE 'nodename' | ALL NODES} [SHARED] [USAGE 'usetype'] [LABEL 'labelname']CREATE LOCATION '/data2' NODE 'v_history_node0002' USAGE
2016-05-27 21:36:10
1173
原创 vertica-copy数据报网络错误
查看119和历史库不是一个网段，这时候两种方法1，或者使用通道vsql注意在vsql执行vsql -U dbadmin -w ****** -h 172.19.1.78 -d history -At -c "SELECT * from tmp.web_Dim_Agent" \| vsql -U ******* -w ******** -d EmBigData -c "COPY t
2016-05-27 21:11:55
971
原创 vertica-console
root用户安装软件#rpm -Uvh /mnt/hgfs/setup/vertica-console-7.2.1-2.x86_64.RHEL6.rpm访问： https://节点ip:5450/webui下一步下一步选择日志路径和数据文件路径，临时文件路径完成这里输入dbadmin用户密码选择导入数据库导
2016-05-27 21:04:21
1165
原创 vertica-安装
设置节点的hosts文件使用vi编辑/etc/hosts文件，添加如下内容：192.168.231.100 fafa设置语言和时区使用vi编辑/etc/profile文件，添加如下内容:LANG="en_US.UTF-8"export LANGTZ="Asia/Shanghai"export TZ修改/etc/rc.localecho d
2016-05-27 20:46:54
3022
1
原创 vertica-复杂sql导致crc校验错误
sql如下create table tmp.Web_Rel_WebVIDUserID_Allas( select nextval('tmp.tmp_lvjian_seq') as EID, e.UserID, e.WebVID, min(e.CalDate)
2016-05-25 22:42:39
612
原创 vertica-使用dbvis工具报I O错误
首先我们查看vertica错误信息表select * from error_messages where message like '%IOException%';发现并没有错误记录，说明不是数据库问题是因为网络不稳定，工具错误导致，使用工具容易因网络问题报错
2016-05-25 21:35:56
526
原创 vertica-资源池
语法CREATE RESOURCE POOL pool-name... [ MEMORYSIZE {'sizeUnits' |DEFAULT }]... [ MAXMEMORYSIZE {'sizeUnits' | NONE |DEFAULT }]... [ EXECUTIONPARALLELISM {int | AUTO | DEFAULT} ]... [ PRIORITY
2016-05-25 21:30:49
1125
原创 vertica-卸载
先关数据库注意关掉数据库前要退出所有连接，或者加-F强制关闭，或者SELECT SHUTDOWN('true');每个节点执行sudo rpm -e vertica-7.1.2-0.x86_64 --卸载rpm包sudo rm -rf /opt/vertica --卸载软件sudo rm -rf /data1/history --删除数据文件，红色部分是数据库名称
2016-05-25 21:22:31
1379
原创 vertica-ksafe
查看ksafe状态SELECT current_fault_tolerance FROM system;寻找当ksafe等于1时候相关的节点SELECT * FROM v_monitor.critical_nodes;设置不同ksafe值对节点的要求K-level Number of Nodes Required 1
2016-05-25 21:17:07
1787
原创 vertica-修改表结构（涉及vertica底层的操作）
vertica这一mpp型数据库还是有很多不同的地方，vertica的表就相当于一个’视图‘一样并不存储数据，数据都在其对应的projection中，由于这些projection事记录在vertica系统信息里面的，记录在vertica系统信息里面的东西修改很困难，所以涉及此类问题我们一般都不得不重建表。这里要提到若是表的某个字段未写入系统信息得情况，例如若某个字段没有在projection中
2016-05-25 21:14:09
6865
原创 vertica-添加节点
添加节点到vertica集群首先必须配置好节点的配置信息注意各个节点都要配hosts接着配置dbadmin用户ssh无秘钥访问以下操作用root用户执行/opt/vertica/sbin/update_vertica --add-hosts 10.10.*** 注意报错中出现fail的信息在root下执行echo dea
2016-05-25 21:01:44
1384
原创 vertica-Rebalance用法
1，标记一个或多个节点作为临时准备从集群中删除它们2，添加一个或多个节点的集群，惠普Vertica可以用数据填充空节点3，改变一个弹性集群的缩放因子，它决定用于存储在数据库中的投影的存储容器的数量4，设置控制节点的大小或调整控制节点的大型集群上的布局5，从故障组中添加节点或删除节点语法是REBALANCE_TABLE('schema.table_name')即他可以在指
2016-05-25 20:09:36
863
原创 vertica-手动关session
查看正在执行的请求select * from query_requests where is_executing='true'关闭对应请求select CLOSE_SESSION ( 'verdb-1091.eastmone-143932:0x35909' )select CLOSE_SESSION ( 'verdb-1091.eastmone-143932:0x60fe
2016-05-24 22:11:52
1091
原创 vertica-dbvis实现failover和负载均衡
dbvis是vertica常用工具，vertica实现负载均衡需要在其中设置（注意vertica里面参数SEECT_LOAD_BALANCE_POLICY设置负载均衡策略）由于dbvis工具自带jar包太老了，所以需要换一个新的jar包，7.0以后vertica才支持负载均衡注意这里最好写ip。
2016-05-24 22:05:48
640
原创 查看数据存储情况，强制wos数据进入ros
SELECT p.projection_name, sc.node_name, sc.storage_type, sc.location_label FROM projections p LEFT JOIN storage_containers sc ON sc.projection_name = p.projection_na
2016-05-23 20:46:45
1063
原创 oracle导入csv文本文件到vertica
COPY tmp.tmp_totaluid FROM '/home/dbadmin/zhangsan.csv' EXCEPTIONS '/tmp/exp.log' DELIMITER e'\t';导入有空格的csv文件COPY app.App_Agg_Level2_Monitor FROM '/home/dbadmin/test3.csv' EXCEPTIONS '/tmp/exp
2016-05-23 20:41:30
1585
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人