Sequoiadb
文章平均质量分 60
Havi155
这个作者很懒,什么都没留下…
展开
-
Sequoiadb对接SequoiaSql应用开发实践(二)
Sequoiadb是支持sql的,SequoiaSql是解析sql语言,Sequoiadb来执行SequoiaSql解析出的语言并执行相关命令,SequoiaSql相当于客户端,Sequoiadb相当于后端。用户可以通过JDBC驱动连接SequoiaSql进行应用程序开发。 之前的文章介绍了Sequoiadb对接SequoiaSql应用开发实践,本文将介绍更加简单的一种方式进行对接。以前原创 2018-02-22 10:23:46 · 802 阅读 · 0 评论 -
查看Sequoiadb数据库安装位置
使用命令检查SequoiaDB数据库安装位置 #查看linux的系统文件cat /etc/default/sequoiadb #或者whereis查看sdb位置whereis sdb 举个例子,如下所示: ...原创 2018-11-29 17:10:25 · 338 阅读 · 0 评论 -
Sequoiadb分布式数据库入门使用教程
SequoiaDB分布式数据库介绍 SequoiaDB能够支持分布式存储结构化和半结构化数据,还能够使用LOB大对象技术存储海量的非结构化数据。除了能够支持海量数据分布式存储外,还能够为用户提供多索引功能,支持用户在高并发场景下做数据访问。其底层主要基于分布式、高可用、高性能与动态数据类型设计,与Spark这种分布式计算框架紧密集成。连接数据库sdb 'db = new Sd...原创 2018-11-29 14:40:11 · 727 阅读 · 0 评论 -
配置Spark元数据到PostgreSQL
首先安装好Sequoiadb数据库。给Sequoiadb数据库搭建spark和postgresql作为SQL解析层。其中spark自己的数据存储非常小,需要使用postgresql保存spark的元数据。执行步骤如下在sdbadmin用户下启动 PG bin/postgres -D pg_data/ >> logfile 2>&1 &...原创 2018-08-21 15:42:29 · 1156 阅读 · 1 评论 -
如何用Sequoiadb Shell命令删除协调节点和编目节点
如果想彻底清除一个巨杉数据库(Sequoiadb)的集群环境,包括数据复制组、协调复制组、编目复制组,应该如何做?大体来说,有2个方法:1)停掉所有的复制组,然后手工删除所有节点所对应的数据库目录。 这种方法简单易行,但是看上略显野蛮。2)利用SDB Shell里提供的各种命令,逐步删除数据复制组、协调复制组、编目复制组。 本文主要是探讨这种方法的步骤,后面展...原创 2018-08-21 14:56:11 · 664 阅读 · 0 评论 -
sparksql中如何实现对Sequoiadb数组类型字段的查询
Sequoiadb数据库是国产的企业级分布式数据库,Sequoiadb本身是key-value格式的nosql数据库,上层使用spark做SQL解析层,本文介绍如何使用sparksql查询Sequoiadb数组。下面举一个具体的例子来说明:1. 在SDB中创建集合,里面包含数据对象db.foo.createCL("array1", {ShardingKey:{_id:1}, Shard...原创 2018-08-21 14:32:50 · 628 阅读 · 0 评论 -
sequoiadb选举主节点的依据
我们知道sequoiadb主节点宕掉后,如果剩余的节点个数大于总节点个数的1/2,那么会选举出新的主节点。那么选举的依据是什么呢?即怎么从多个从节点中选出一个主节点呢?大概步骤如下:1. 首先比较这些节点上的当前LSN,如果某个节点的LSN比其它节点都大,那么选取它为主节点。2. 如果所有这些节点的当前LSN都一样,那么比较他们的权重(weight参数的值),如果某个节点的we...原创 2018-07-18 13:42:36 · 745 阅读 · 0 评论 -
如何判断sequoiadb的节点是否在全量同步
1.什么是全量同步? SequoiaDB 通过使用远程复制功能,维护了数据的多个副本,即副本集。一个副本集是有助于防止数据库停机的、完全自我修复的分片。副本故障转移是完全自动,不需要管理员手动干预。一般来说,一个包含多个节点的分片构成一个副本集。架构如下所示: 在主副本上修改数据的操作会通过一个日志复制到从副本上,这个日志也叫做事务日志。这些事务日志包含了主副本中全部...原创 2018-07-18 10:47:46 · 545 阅读 · 0 评论 -
elasticsearch对接Sequoiadb
1、配置信息1.1、机器信息192.168.137.164 sdb1192.168.137.128 sdb2192.168.137.131 sdb31.2、Sequoiadb信息V3.0版本1.3、elasticsearch信息V6.2.2版本2、安装elasticsearch#解压配置即可tar -zxvf elasticsearch-6.2.2.tar -c/opt/elas...原创 2018-06-01 18:48:42 · 666 阅读 · 0 评论 -
PostgreSQL访问SequoiaDB时,字段名称的大小写问题
在PG的官网文档里,关于字段名称的大小写有这么一段描述:https://www.postgresql.org/docs/current/static/sql-syntax-lexical.html因此,在pg里面针对标识符(identifier)-- 主要是字段名称 -- 的大小写处理逻辑是:-- 如果不将它用引号括起来,...原创 2018-05-30 17:30:53 · 724 阅读 · 0 评论 -
SequoiaDB数据库搭建Spark
介绍如何在Sequoiadb分布式数据库基础上搭建spark集群,使用spark来提供更好的SQL操作。原创 2017-09-20 11:24:26 · 495 阅读 · 0 评论 -
分布式数据库数据一致性原理说明与实现
前言分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下,数据一致性的解决方法和技术也在不断的演进,本文就以作者实际研发的分布式数据库作为案例,介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看转载 2018-04-17 17:08:17 · 423 阅读 · 0 评论 -
在SequoiaSQL(Postgresql)中配置 Spark (Hive)元数据库
SequoiaSQL 和 Spark 的安装配置放在在这里不赘述。 Thrift server 最好是配合 Hive 元数据库使用。所以这里讲一下如何配置,并启动 Thrift server ,最后可以用 beeline 命令行比较方便清爽的使用 Spark SQL 。下面是配置步骤。1. Postgresql JDB...原创 2019-02-28 20:46:04 · 442 阅读 · 0 评论