集群相关
文章平均质量分 67
Havi155
这个作者很懒,什么都没留下…
展开
-
zookeeper+kafka集群部署
有三台linux机器: 机器IP HostName 192.168.137.164 server1 192.168.137.128 server2 192.168.137.131 server3zookeeper版本:zookeeper-3.4.8.tar.gzkafka版本原创 2017-11-07 10:55:09 · 304 阅读 · 0 评论 -
查看Sequoiadb数据库安装位置
使用命令检查SequoiaDB数据库安装位置 #查看linux的系统文件cat /etc/default/sequoiadb #或者whereis查看sdb位置whereis sdb 举个例子,如下所示: ...原创 2018-11-29 17:10:25 · 350 阅读 · 0 评论 -
MySql集群模式
一 MySQL Cluster1、Cluster的介绍MySQL Cluster的关键部分--sql node(MySQL Server)、data node(storage或者ndbd)。至于它的结构,我们从图形来进行理解。下面是最小配置的cluster,使用两台机器:上图有两个数据节点(用于保存持久化数据的)、两个SQL节点(提供给应用程序访问的前端)。下面是用了五台机...原创 2018-07-18 16:12:01 · 5760 阅读 · 0 评论 -
sequoiadb选举主节点的依据
我们知道sequoiadb主节点宕掉后,如果剩余的节点个数大于总节点个数的1/2,那么会选举出新的主节点。那么选举的依据是什么呢?即怎么从多个从节点中选出一个主节点呢?大概步骤如下:1. 首先比较这些节点上的当前LSN,如果某个节点的LSN比其它节点都大,那么选取它为主节点。2. 如果所有这些节点的当前LSN都一样,那么比较他们的权重(weight参数的值),如果某个节点的we...原创 2018-07-18 13:42:36 · 753 阅读 · 0 评论 -
如何判断sequoiadb的节点是否在全量同步
1.什么是全量同步? SequoiaDB 通过使用远程复制功能,维护了数据的多个副本,即副本集。一个副本集是有助于防止数据库停机的、完全自我修复的分片。副本故障转移是完全自动,不需要管理员手动干预。一般来说,一个包含多个节点的分片构成一个副本集。架构如下所示: 在主副本上修改数据的操作会通过一个日志复制到从副本上,这个日志也叫做事务日志。这些事务日志包含了主副本中全部...原创 2018-07-18 10:47:46 · 551 阅读 · 0 评论 -
elasticsearch对接Sequoiadb
1、配置信息1.1、机器信息192.168.137.164 sdb1192.168.137.128 sdb2192.168.137.131 sdb31.2、Sequoiadb信息V3.0版本1.3、elasticsearch信息V6.2.2版本2、安装elasticsearch#解压配置即可tar -zxvf elasticsearch-6.2.2.tar -c/opt/elas...原创 2018-06-01 18:48:42 · 676 阅读 · 0 评论 -
PostgreSQL访问SequoiaDB时,字段名称的大小写问题
在PG的官网文档里,关于字段名称的大小写有这么一段描述:https://www.postgresql.org/docs/current/static/sql-syntax-lexical.html因此,在pg里面针对标识符(identifier)-- 主要是字段名称 -- 的大小写处理逻辑是:-- 如果不将它用引号括起来,...原创 2018-05-30 17:30:53 · 733 阅读 · 0 评论 -
cancl对接mysql安装及使用
1、环境准备 (1)安装mysql,要求5.0版本以上,本环境中安装路径为/opt/mysql/。 (2)安装环境jdk,要求1.7以上。 (3)使用root用户启动mysql >service mysqld start //启动mysql >service mysqld status //检查mysql启动状态 (4)查看canal...原创 2018-05-24 15:48:45 · 7695 阅读 · 1 评论 -
kafka集群搭建及使用
转载自http://www.cnblogs.com/luotianshuai/p/5206662.htmlKafka初识1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题:我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行统计,分析出当前的流行趋势有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有...转载 2018-05-23 16:18:31 · 359 阅读 · 0 评论 -
SequoiaDB数据库搭建Spark
介绍如何在Sequoiadb分布式数据库基础上搭建spark集群,使用spark来提供更好的SQL操作。原创 2017-09-20 11:24:26 · 506 阅读 · 0 评论 -
linux中eth0中没有inet addr
作者在inux虚拟机中设置静态IP后,每次开机执行ifconfig会发现eth0中没有inet addr ,但是有inet6 addr。[root@localhost Desktop]# ifconfigeth0 Link encap:Ethernet HWaddr 00:0C:29:23:FF:A0 inet6 addr: fe80::20c:29ff:fe2原创 2018-04-12 15:53:52 · 12691 阅读 · 0 评论 -
分布式数据库数据一致性原理说明与实现
前言分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下,数据一致性的解决方法和技术也在不断的演进,本文就以作者实际研发的分布式数据库作为案例,介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看转载 2018-04-17 17:08:17 · 429 阅读 · 0 评论 -
version `GLIBC_2.17' not found (required by ./bin/tikv-server)
某次作者编译软件时报错:version `GLIBC_2.17' not found (required by ./bin/tikv-server)错误信息大概是说缺少 glibc_2.17这个库。解决办法:(1)首先保证程序没有被strip,也就是说可执行程序含有符号表信息。出现这个问题的原因是glibc的版本太低,查看系统glibc支持的版本 >strings /lib64/libc.s...原创 2018-04-08 15:22:42 · 3115 阅读 · 0 评论 -
kafka部署
1、将下载的kafka解压到/opt/soft目录下tar-zxvf kafka_2.11-0.10.2.1.tgz -C/opt/soft2、进入kafka/libs目录cd /opt/soft/kafka_2.11-0.10.2.1/libs3、从zookeeper中复制zookeeper-3.4.8.jarcp /opt/soft/zookeeper-3.4.8/zoo原创 2017-11-22 16:29:51 · 223 阅读 · 0 评论 -
zookeeper集群部署
1、将下载的zookeeper解压到/opt/soft目录下tar-zxvf zookeeper-3.4.8.tar.gz -C/opt/soft2、进入zookeeper的conf目录cd /opt/soft/zookeeper-3.4.8/conf3、复制一份zoo_sample.cfg zoo.cfgcp zoo_sample.cfg zoo.cfg4、创建dat原创 2017-11-22 16:27:29 · 199 阅读 · 0 评论 -
在SequoiaSQL(Postgresql)中配置 Spark (Hive)元数据库
SequoiaSQL 和 Spark 的安装配置放在在这里不赘述。 Thrift server 最好是配合 Hive 元数据库使用。所以这里讲一下如何配置,并启动 Thrift server ,最后可以用 beeline 命令行比较方便清爽的使用 Spark SQL 。下面是配置步骤。1. Postgresql JDB...原创 2019-02-28 20:46:04 · 460 阅读 · 0 评论