发歌的数据架构

oracle,mysql,vertica,mongodb,redis

mongo 对删除节点remove OTHER

在复制集之中,我们通常会有删除复制集节点的操作 其中一个很典型的场景就是,海量数据的跨机房无缝迁移。例如,A机房 有一主一从两节点复制集,现在要把数据迁移到 B机房,并做到过程耗时很短,同时迁移失败及时回滚还原直接的连接配置。 一般会将B机房一个节点作为A机房复制集的从节点,直到同步趋于一致之...

2019-04-13 12:14:35

阅读数 11

评论数 0

解决ops manager在网络下载的问题

ops manager 默认会在网络上下载并安装mongodb数据库,在生产环境我们需要把它放在本地 进入ops manager 版本控制页面,找到如下 默认此配置不是local的,若此时选择了local未选择对应安装rpm文件会报如下错 报错如下 local mode is not ...

2019-04-13 11:20:39

阅读数 23

评论数 0

mongodb 后台大量删除归档数据

需求如下 我们有些生产mongo数据库的大表需要做归档,数据库为matrix_db,只保留最近三个月的数据,将三个月之前的数据删除,注意要先备份,过几天验证期以后再删备用表(我会通知),注意删除的时候不能影响线上流程,需要后台执行,具体的执行语句如下所示: db.getCollection...

2019-04-13 10:56:22

阅读数 90

评论数 0

mongodb 3.6 aggregate 报错 The 'cursor' option is required

高版本3.6导致聚合操作失败 报错如下 The 'cursor' option is required, except for aggregate with the explain argument 解决办法: 1,升级spring 版本 upgrade your Spring Data...

2019-04-12 16:52:20

阅读数 57

评论数 0

mongodb导出大量json数据脚本

脚本如下(红色部分为查询语句): $ cat dump.js var c = db.neo.moxie.MoxieTaskStatus.find({'createTime':{ "$gte" : ISODate("2018-11-22T00:00:00Z"...

2019-04-12 16:48:05

阅读数 62

评论数 0

mongodb aggregate 聚合操作 exceeded memory limit

db.neo.riskengine.PolicyExecutionTracking.aggregate([ { $match: {_id:{$gt : ObjectId("5c643f000000000000000000"),$lt : ObjectId("5c6...

2019-04-12 16:45:14

阅读数 13

评论数 0

mongodb 慢查询 紧急诊断

rep01:PRIMARY> db.currentOp() 查看操作 "insert","update","remove","query" 时间大于1S的 rep01:PRIMARY&gt...

2019-04-12 16:41:58

阅读数 15

评论数 0

lua连接redis集群

连接redis集群需要用到llua-resty-redis-cluster模块 github地址:https://github.com/cuiweixie/lua-resty-redis-cluster 下载完成后,只需要用到包中2个文件rediscluster.lua和redis_s...

2019-04-12 16:35:39

阅读数 69

评论数 0

redis 单实例迁移到cluster实战

大部分应用在使用Redis的时候可能前期只使用一个实例,随着数据量和访问量增大,单实例逐渐捉襟见肘,就需要考虑上Cluster方案了,本文提供了一个方案,就是把单实例的数据完整的迁移到Cluster上。 方案步骤 1)获取原单实例节点D的持久化AOF文件 2)新准备三个节点A,B...

2019-04-12 16:25:20

阅读数 82

评论数 0

redis 连接报错 could not get resource

1、产生原因:客户端去redis服务器拿连接(代码描述的是租用对象borrowObject)的时候,池中无可用连接,即池中所有连接被占用,且在等待时候设定的超时时间后还没拿到时,报出此异常。 2、解决办法:调整JedisPoolConfig中maxActive为适合自己系统的阀值。 &...

2019-04-12 16:13:24

阅读数 15

评论数 0

redis bigkey 解决 删除大key

大Key会带来的问题 如果是集群模式下,无法做到负载均衡,导致请求倾斜到某个实例上,而这个实例的QPS会比较大,内存占用也较多;对于Redis单线程模型又容易出现CPU瓶颈,当内存出现瓶颈时,只能进行纵向库容,使用更牛逼的服务器。 涉及到大key的操作,尤其是使用hgetall、lrange ...

2019-04-12 15:55:23

阅读数 160

评论数 0

redis-migrate-tool 支持 3.0以上 (5.0)

已大规模用于生产环境,亲测有效! 下载redis-migrate-tool软件包(注意是tanruixing88的) git clone https://github.com/tanruixing88/redis-migrate-tool.git 准备安装 # mv redis-migra...

2019-04-12 15:25:31

阅读数 60

评论数 0

redis-faina 热 key 快速诊断

该工具是用python写的,不需要安装什么依赖包,只需要将redis-faina.py下载 使用方法 redis-cli -p 6380 monitor | head -n 100000 | ./redis-faina.py Overall Stats ================...

2019-04-12 14:59:19

阅读数 31

评论数 0

MYSQL和ORACLE自增列的区别

1. 自动增长的数据类型处理           MYSQL有自动增长的数据类型,插入记录时不用操作此字段,会自动获得数据值。ORACLE没有自动增长的数据类型,需要建立一个自动增长的序列号,插入记录时要把序列号的下一个值赋于此字段。 oracle自增方式: --第一步:创建SEQUEN...

2016-08-14 11:25:57

阅读数 1449

评论数 0

oracle adg突然报密码文件错误

Error 1017 received logging on to the standby ------------------------------------------------------------ Check that the primary and standby are u...

2016-08-05 16:03:03

阅读数 885

评论数 0

oracle ogg同步到kafka不抓数据,重启ogg报错

ERROR OGG-02077 Extract encountered a read error in the asynchronous reader thread and is abending: Error code 4031, error message: ORA-04031: unable...

2016-08-05 16:01:10

阅读数 1469

评论数 0

telnet安装拒绝连接

[root@dba01 ~]# yum install telnet* [root@dba05 ~]# service xinetd status xinetd 已停 [root@dba05 ~]# service xinetd start 正在启动 xinetd: [确定] 验证 [...

2016-08-04 18:32:25

阅读数 502

评论数 0

vertica-->kafka-->mongodb数据流

此连接件为confluent修改过的jar包,这里不提供下载(涉及公司机密!!) Kafka Connnect有两个核心概念:Source和Sink。 Source负责导入数据到Kafka,Sink负责从Kafka导出数据,它们都被称为Connector。 由于这里是kafka到m...

2016-08-04 18:29:19

阅读数 2444

评论数 0

oracle expdp impdp总结

经常使用数据泵导数据,一直以来都是零零散散的问题,今天趁周末来个详细的总结 使用EXPDP和IMPDP时应该注意的事项: EXP和IMP是客户端工具程序,它们既可以在客户端使用,也可以在服务端使用。 EXPDP和IMPDP是服务端的工具程序,他们只能在ORACLE服务端使用,不能在客户端...

2016-07-23 18:20:14

阅读数 526

评论数 0

SGA_MAX_SIZE超过MEMORY_TARGET 导致无法启动

SQL> startup mount \ORA-00844: Parameter not taking MEMORY_TARGET into account ORA-00851: SGA_MAX_SIZE 3154116608 cannot be set to more than MEM...

2016-07-19 13:43:45

阅读数 3381

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭