nosql
文章平均质量分 60
Havi155
这个作者很懒,什么都没留下…
展开
-
分布式数据库数据一致性原理说明与实现
前言分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下,数据一致性的解决方法和技术也在不断的演进,本文就以作者实际研发的分布式数据库作为案例,介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看转载 2018-04-17 17:08:17 · 422 阅读 · 0 评论 -
如何判断sequoiadb的节点是否在全量同步
1.什么是全量同步? SequoiaDB 通过使用远程复制功能,维护了数据的多个副本,即副本集。一个副本集是有助于防止数据库停机的、完全自我修复的分片。副本故障转移是完全自动,不需要管理员手动干预。一般来说,一个包含多个节点的分片构成一个副本集。架构如下所示: 在主副本上修改数据的操作会通过一个日志复制到从副本上,这个日志也叫做事务日志。这些事务日志包含了主副本中全部...原创 2018-07-18 10:47:46 · 540 阅读 · 0 评论 -
sparksql中如何实现对Sequoiadb数组类型字段的查询
Sequoiadb数据库是国产的企业级分布式数据库,Sequoiadb本身是key-value格式的nosql数据库,上层使用spark做SQL解析层,本文介绍如何使用sparksql查询Sequoiadb数组。下面举一个具体的例子来说明:1. 在SDB中创建集合,里面包含数据对象db.foo.createCL("array1", {ShardingKey:{_id:1}, Shard...原创 2018-08-21 14:32:50 · 621 阅读 · 0 评论 -
如何用Sequoiadb Shell命令删除协调节点和编目节点
如果想彻底清除一个巨杉数据库(Sequoiadb)的集群环境,包括数据复制组、协调复制组、编目复制组,应该如何做?大体来说,有2个方法:1)停掉所有的复制组,然后手工删除所有节点所对应的数据库目录。 这种方法简单易行,但是看上略显野蛮。2)利用SDB Shell里提供的各种命令,逐步删除数据复制组、协调复制组、编目复制组。 本文主要是探讨这种方法的步骤,后面展...原创 2018-08-21 14:56:11 · 661 阅读 · 0 评论 -
配置Spark元数据到PostgreSQL
首先安装好Sequoiadb数据库。给Sequoiadb数据库搭建spark和postgresql作为SQL解析层。其中spark自己的数据存储非常小,需要使用postgresql保存spark的元数据。执行步骤如下在sdbadmin用户下启动 PG bin/postgres -D pg_data/ >> logfile 2>&1 &...原创 2018-08-21 15:42:29 · 1153 阅读 · 1 评论 -
Sequoiadb分布式数据库入门使用教程
SequoiaDB分布式数据库介绍 SequoiaDB能够支持分布式存储结构化和半结构化数据,还能够使用LOB大对象技术存储海量的非结构化数据。除了能够支持海量数据分布式存储外,还能够为用户提供多索引功能,支持用户在高并发场景下做数据访问。其底层主要基于分布式、高可用、高性能与动态数据类型设计,与Spark这种分布式计算框架紧密集成。连接数据库sdb 'db = new Sd...原创 2018-11-29 14:40:11 · 715 阅读 · 0 评论 -
在SequoiaSQL(Postgresql)中配置 Spark (Hive)元数据库
SequoiaSQL 和 Spark 的安装配置放在在这里不赘述。 Thrift server 最好是配合 Hive 元数据库使用。所以这里讲一下如何配置,并启动 Thrift server ,最后可以用 beeline 命令行比较方便清爽的使用 Spark SQL 。下面是配置步骤。1. Postgresql JDB...原创 2019-02-28 20:46:04 · 441 阅读 · 0 评论