数据库
文章平均质量分 75
Havi155
这个作者很懒,什么都没留下…
展开
-
Flink构造宽表实时入库案例介绍
本文讲解如何使用flink进行数据异构原创 2024-01-10 09:37:17 · 1491 阅读 · 0 评论 -
postgresql一些常用命令
下文总结作者在工作中用到的postgresql一些常用命令一、Postgresql数据库权限功能小结1、权限说明 Postgresql数据库支持灵活的权限管理,可以控制一个角色(组、用户)对某张表的读、写、更新、删除等操作权限、执行某个函数的权限以及操作(使用、更新等)视图、序列的权限。 PG的权限管理功能比较强大,可以细化到对一张表的各个字段,比如禁止用户访问一张表里...原创 2019-12-12 17:09:23 · 497 阅读 · 0 评论 -
sequoiadb选举主节点的依据
我们知道sequoiadb主节点宕掉后,如果剩余的节点个数大于总节点个数的1/2,那么会选举出新的主节点。那么选举的依据是什么呢?即怎么从多个从节点中选出一个主节点呢?大概步骤如下:1. 首先比较这些节点上的当前LSN,如果某个节点的LSN比其它节点都大,那么选取它为主节点。2. 如果所有这些节点的当前LSN都一样,那么比较他们的权重(weight参数的值),如果某个节点的we...原创 2018-07-18 13:42:36 · 745 阅读 · 0 评论 -
MySql集群模式
一 MySQL Cluster1、Cluster的介绍MySQL Cluster的关键部分--sql node(MySQL Server)、data node(storage或者ndbd)。至于它的结构,我们从图形来进行理解。下面是最小配置的cluster,使用两台机器:上图有两个数据节点(用于保存持久化数据的)、两个SQL节点(提供给应用程序访问的前端)。下面是用了五台机...原创 2018-07-18 16:12:01 · 5744 阅读 · 0 评论 -
配置Spark元数据到PostgreSQL
首先安装好Sequoiadb数据库。给Sequoiadb数据库搭建spark和postgresql作为SQL解析层。其中spark自己的数据存储非常小,需要使用postgresql保存spark的元数据。执行步骤如下在sdbadmin用户下启动 PG bin/postgres -D pg_data/ >> logfile 2>&1 &...原创 2018-08-21 15:42:29 · 1159 阅读 · 1 评论 -
db2数据库常用总结
db2数据库常用命令总结---安装数据库tar zxvf db2_v101_linuxx64_expc.tar.gzcd expc/./db2_install选择默认安装路径 : yes---配置数据库创建3个用户组groupadd -g 901 db2iadm1groupadd -g 902 db2fadm1groupadd -g 903 db2dadm1...原创 2018-11-12 22:55:06 · 1055 阅读 · 0 评论 -
weblogic配置postgresql为数据源
如何使用weblogic对接sequoiadb数据库?如何使用weblogic配置postgresql作为数据源?大家会遇到以上等等的问题,下面由作者教你如何给weblogic配置postgresql作为其数据源。因为weblogic中默认没有加入PostgreSQL数据库的驱动,所以我们要自己给weblogic中添加一下PostgreSQL的jdbc驱动...原创 2018-11-29 14:15:42 · 2399 阅读 · 0 评论 -
Sequoiadb分布式数据库入门使用教程
SequoiaDB分布式数据库介绍 SequoiaDB能够支持分布式存储结构化和半结构化数据,还能够使用LOB大对象技术存储海量的非结构化数据。除了能够支持海量数据分布式存储外,还能够为用户提供多索引功能,支持用户在高并发场景下做数据访问。其底层主要基于分布式、高可用、高性能与动态数据类型设计,与Spark这种分布式计算框架紧密集成。连接数据库sdb 'db = new Sd...原创 2018-11-29 14:40:11 · 732 阅读 · 0 评论 -
查看Sequoiadb数据库安装位置
使用命令检查SequoiaDB数据库安装位置 #查看linux的系统文件cat /etc/default/sequoiadb #或者whereis查看sdb位置whereis sdb 举个例子,如下所示: ...原创 2018-11-29 17:10:25 · 338 阅读 · 0 评论 -
Unsupported major.minor version 52.0 错误
使用eclipse编译软件时报错java.lang.UnsupportedClassVersionError: PR/Sort : Unsupported major.minor version 52.0这个错误是由于高版本的java project使用了低版本的来运行。 我出现这个情况是我把Properties中java build path-->Libraries...原创 2018-12-06 14:21:46 · 231 阅读 · 0 评论 -
mysql一些常见命令
根据日常使用情况总结了mysql的一些常见命令//在root用户中,启动mysql服务service mysqld start//查看启动状态service mysqld status//停止mysql服务service mysqld stop//切换到mysql用户//首先查看mysql的安装位置,切换到安装位置whereis mysql//进入到mysql客户端...原创 2019-01-28 15:20:09 · 525 阅读 · 0 评论 -
在SequoiaSQL(Postgresql)中配置 Spark (Hive)元数据库
SequoiaSQL 和 Spark 的安装配置放在在这里不赘述。 Thrift server 最好是配合 Hive 元数据库使用。所以这里讲一下如何配置,并启动 Thrift server ,最后可以用 beeline 命令行比较方便清爽的使用 Spark SQL 。下面是配置步骤。1. Postgresql JDB...原创 2019-02-28 20:46:04 · 444 阅读 · 0 评论 -
如何判断sequoiadb的节点是否在全量同步
1.什么是全量同步? SequoiaDB 通过使用远程复制功能,维护了数据的多个副本,即副本集。一个副本集是有助于防止数据库停机的、完全自我修复的分片。副本故障转移是完全自动,不需要管理员手动干预。一般来说,一个包含多个节点的分片构成一个副本集。架构如下所示: 在主副本上修改数据的操作会通过一个日志复制到从副本上,这个日志也叫做事务日志。这些事务日志包含了主副本中全部...原创 2018-07-18 10:47:46 · 545 阅读 · 0 评论 -
elasticsearch对接Sequoiadb
1、配置信息1.1、机器信息192.168.137.164 sdb1192.168.137.128 sdb2192.168.137.131 sdb31.2、Sequoiadb信息V3.0版本1.3、elasticsearch信息V6.2.2版本2、安装elasticsearch#解压配置即可tar -zxvf elasticsearch-6.2.2.tar -c/opt/elas...原创 2018-06-01 18:48:42 · 666 阅读 · 0 评论 -
cancl对接mysql安装及使用
1、环境准备 (1)安装mysql,要求5.0版本以上,本环境中安装路径为/opt/mysql/。 (2)安装环境jdk,要求1.7以上。 (3)使用root用户启动mysql >service mysqld start //启动mysql >service mysqld status //检查mysql启动状态 (4)查看canal...原创 2018-05-24 15:48:45 · 7669 阅读 · 1 评论 -
分布式数据库数据一致性原理说明与实现
前言分布式数据库的数据一致性管理是其最重要的内核技术之一,也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下,数据一致性的解决方法和技术也在不断的演进,本文就以作者实际研发的分布式数据库作为案例,介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看转载 2018-04-17 17:08:17 · 423 阅读 · 0 评论 -
postgresql查看用户名
查看当前连接的用户名: foo=#select * from current_user;或foo=#select user; 查看所有用户名: foo=#\du原创 2018-05-17 09:01:25 · 12276 阅读 · 0 评论 -
BASE和ACID对比分析
CAP理论CAP – Consistency, Availability, Partition Tolerance C表示一致性,为最终一致性。A表示可用性,三副本保证数据安全。P表示分区容错性,表示某些节点crash系统是否还能正常工作。其中一致性、可用性、分区容错性不能够同时满足,只能够对其一致性或可用性进行取舍。CAP两种选择分布式数据库因相对于关系型数据库最显著原创 2018-05-10 16:28:09 · 10453 阅读 · 0 评论 -
OLTP和OLAP对比
OLTP联机事务处理,OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如转账交易。OLAP 联机分析处理,OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。原创 2018-05-10 16:39:15 · 257 阅读 · 0 评论 -
go语言连接mysql操作
一、安装在windows下安装1、goland(go IDE) 安装位置: D:\package\goland2、go 安装位置 : D:\package\go3、GOPATH 位置: D:\package\go\workspaceD:\package\go\workspace 创建三个空文件夹 在GOPATH目录下创建三个文件 bin 、src 、pkg4、GOROOT 位原创 2018-05-10 16:46:57 · 2186 阅读 · 0 评论 -
mysql数据库事务类型
数据库事务有不同的隔离级别,不同的隔离级别对锁的使用是不同的,锁的应用最终导致不同事务的隔离级别。隔离性分为四个级别:1读未提交:(Read Uncommitted)2读已提交(Read Committed) 大多数数据库默认的隔离级别3可重复读(Repeatable-Read) mysql数据库所默认的级别4序列化(serializable)四个级别的具体实现和不同的请下翻译 2017-09-25 16:36:01 · 5708 阅读 · 0 评论 -
zookeeper+kafka集群部署
有三台linux机器: 机器IP HostName 192.168.137.164 server1 192.168.137.128 server2 192.168.137.131 server3zookeeper版本:zookeeper-3.4.8.tar.gzkafka版本原创 2017-11-07 10:55:09 · 296 阅读 · 0 评论 -
去中心化数据库:传统IT与区块链的未来融合形式
前言:区块链从概念诞生到技术发展已经历较长时间,但是随着这两年的火热,才渐渐被市场和许多技术人员了解。作为一个数据库行业的老兵,巨杉数据库联合创始人兼CTO王涛看到传统的IT技术同学们对于在热潮之下的区块链技术,保持了十分理性,甚至是排斥的态度。在本文中,王涛将从数据库对比的角度,帮助传统IT人更好的理解区块链技术。同时,他也提出了区块链和数据库技术融合的未来方向——“去中心化数据库”的创想。以下...转载 2018-05-16 09:37:21 · 2694 阅读 · 0 评论 -
区块链共识机制分析——论PoW,PoS,DPos和DAG的优缺点
近期,随着区块链技术在社区中的声音越来越大,业界已经开始从技术角度对区块链进行全方位的解读。作为第一批区块链技术的实现,传统比特币与以太坊在共识机制、存储机制、智能合约机制、跨链通讯机制等领域并没有非常严密的设计,从而引发了一些在数据库与存储领域比较常见的问题,导致其数据规模无法无限增加(当前仅几百GB就产生了严重的性能瓶颈,几乎不可能到达上百TB规模),吞吐量极为有限,使其不可能适应通用分布式数...转载 2018-05-16 10:06:39 · 3833 阅读 · 1 评论 -
嵌套股份授权证明机制(NDPoS)
摘要:物联网区块链的超流体架构,主要包含几大特性:一、NDPOS共识算法;二、非对称账本结构;三、点对点加密通讯。其中,NDPoS主要解决在多链架构中,如何在区块链体系中保证跨链原子交易操作的实时性与可靠性;非对称账本结构则解决所有账本数据相同所带来大量无效存储、数据冗余、与带宽占用的问题;而点对点加密通讯则聚焦在物联网设备间通讯时的安全可靠机制。 本文从NDPoS共识算法的设计目的以及解决方案,...转载 2018-05-16 11:01:50 · 1000 阅读 · 0 评论 -
kafka集群搭建及使用
转载自http://www.cnblogs.com/luotianshuai/p/5206662.htmlKafka初识1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题:我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行统计,分析出当前的流行趋势有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有...转载 2018-05-23 16:18:31 · 353 阅读 · 0 评论 -
informix数据库常用命令总结
作者因为工作需要informix,在安装执行informix过程中遇到不少坑,现将一些执行步骤和执行经验总结如下:一、创建用户[root@sdb3 opt]# groupadd informix[root@sdb3 opt]# useradd -g informix -d /opt/informix -s /bin/bash -m informix[root@sdb3 opt]# p...原创 2018-04-17 16:08:39 · 10225 阅读 · 0 评论