- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MySQL性能调优---BKA
MySQL 5.6版本开始增加了提高表join性能的Batched Key Access (BKA)算法。BKA是对于多表join语句，当MySQL使用索引访问第二个join表的时候，使用一个join buffer来收集第一个操作对象生成的相关列值。BKA构建好key后，批量传给引擎层做索引查找。key是通过MRR接口提交给引擎的，这样，MRR使得查询更有效率。
2024-01-10 09:48:40
1003
原创 postgresql一些常用命令
下文总结作者在工作中用到的postgresql一些常用命令一、Postgresql数据库权限功能小结1、权限说明 Postgresql数据库支持灵活的权限管理，可以控制一个角色（组、用户）对某张表的读、写、更新、删除等操作权限、执行某个函数的权限以及操作（使用、更新等）视图、序列的权限。 PG的权限管理功能比较强大，可以细化到对一张表的各个字段，比如禁止用户访问一张表里...
2019-12-12 17:09:23
466
原创 在VMWare虚拟机中设置静态IP
在新安装的Linux虚拟机中，需要设置机器Ip地址不能改变同时又能够访问外网，作者使用是VMware虚拟机安装的Redhat系统。网上找的资料一直设置不成功，现将摸索出来的过程整分享出来，实测可用。 首先安装好虚拟机后在菜单栏选择编辑→ 虚拟网络编辑器，打开虚拟网络编辑器对话框，选择Vmnet8 Net网络连接方式，根据自己需求修改子网IP（一般使用默认的），点击NAT设置页面，查看子网...
2019-09-11 09:30:09
2243
2
原创 linux配置多台服务器系统时间一致
集群环境中，一般会有几台到多台时间服务器，局域网的中的其他服务器都以改机器时间为准。如果没有时间服务器的话，可以让服务器A作为时间服务器，服务器B的时间同步服务器A的。1.设置服务器A为时间服务器vi /etc/ntp.conf#最后一行加入下面一行，保存退出server 127.127.1.0#重启时间服务器service ntpd restart2.B服务器同步A...
2019-07-12 15:49:30
978
原创 在SequoiaSQL（Postgresql）中配置 Spark （Hive）元数据库
SequoiaSQL 和 Spark 的安装配置放在在这里不赘述。 Thrift server 最好是配合 Hive 元数据库使用。所以这里讲一下如何配置，并启动 Thrift server ，最后可以用 beeline 命令行比较方便清爽的使用 Spark SQL 。下面是配置步骤。1. Postgresql JDB...
2019-02-28 20:46:04
435
原创 mysql一些常见命令
根据日常使用情况总结了mysql的一些常见命令//在root用户中，启动mysql服务service mysqld start//查看启动状态service mysqld status//停止mysql服务service mysqld stop//切换到mysql用户//首先查看mysql的安装位置,切换到安装位置whereis mysql//进入到mysql客户端...
2019-01-28 15:20:09
517
原创 Unsupported major.minor version 52.0 错误
使用eclipse编译软件时报错java.lang.UnsupportedClassVersionError: PR/Sort : Unsupported major.minor version 52.0这个错误是由于高版本的java project使用了低版本的来运行。 我出现这个情况是我把Properties中java build path-->Libraries...
2018-12-06 14:21:46
224
原创 查看Sequoiadb数据库安装位置
使用命令检查SequoiaDB数据库安装位置 #查看linux的系统文件cat /etc/default/sequoiadb #或者whereis查看sdb位置whereis sdb 举个例子，如下所示： ...
2018-11-29 17:10:25
331
原创 Sequoiadb分布式数据库入门使用教程
SequoiaDB分布式数据库介绍 SequoiaDB能够支持分布式存储结构化和半结构化数据，还能够使用LOB大对象技术存储海量的非结构化数据。除了能够支持海量数据分布式存储外，还能够为用户提供多索引功能，支持用户在高并发场景下做数据访问。其底层主要基于分布式、高可用、高性能与动态数据类型设计，与Spark这种分布式计算框架紧密集成。连接数据库sdb 'db = new Sd...
2018-11-29 14:40:11
702
原创 weblogic配置postgresql为数据源
如何使用weblogic对接sequoiadb数据库？如何使用weblogic配置postgresql作为数据源？大家会遇到以上等等的问题，下面由作者教你如何给weblogic配置postgresql作为其数据源。因为weblogic中默认没有加入PostgreSQL数据库的驱动，所以我们要自己给weblogic中添加一下PostgreSQL的jdbc驱动...
2018-11-29 14:15:42
2364
翻译 linux shell编程基础
什么是Shell脚本示例看个例子吧：#!/bin/shcd ~mkdir shell_tut cd shell_tut for ((i=0; i<10; i++)); do touch test_$i.txt done示例解释第1行：指定脚本解释器，这里是用/bin/sh做解释器的 第2行：切换到当前用户的home目录 第3行：创建一个目录...
2018-11-27 09:20:52
245
原创 shell并发编程
因为工作需要shell并发编程，网上资料各有分说，作者针对大量的文献整理了如下的步骤，小白可轻易上手，已经实测可用。1.1. linux后台进程Unix是一个多任务系统，允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后，其后紧跟&字符，该命令就会被送往到linux后台执行，而终端又可以继续输入下一个命令了。比如：...
2018-11-15 14:48:18
182
原创 db2数据库常用总结
db2数据库常用命令总结---安装数据库tar zxvf db2_v101_linuxx64_expc.tar.gzcd expc/./db2_install选择默认安装路径 : yes---配置数据库创建3个用户组groupadd -g 901 db2iadm1groupadd -g 902 db2fadm1groupadd -g 903 db2dadm1...
2018-11-12 22:55:06
1043
原创 配置Spark元数据到PostgreSQL
首先安装好Sequoiadb数据库。给Sequoiadb数据库搭建spark和postgresql作为SQL解析层。其中spark自己的数据存储非常小，需要使用postgresql保存spark的元数据。执行步骤如下在sdbadmin用户下启动 PG bin/postgres -D pg_data/ >> logfile 2>&1 &...
2018-08-21 15:42:29
1142
1
原创 如何用Sequoiadb Shell命令删除协调节点和编目节点
如果想彻底清除一个巨杉数据库（Sequoiadb）的集群环境，包括数据复制组、协调复制组、编目复制组，应该如何做？大体来说，有2个方法：1）停掉所有的复制组，然后手工删除所有节点所对应的数据库目录。 这种方法简单易行，但是看上略显野蛮。2）利用SDB Shell里提供的各种命令，逐步删除数据复制组、协调复制组、编目复制组。 本文主要是探讨这种方法的步骤，后面展...
2018-08-21 14:56:11
650
原创 sparksql中如何实现对Sequoiadb数组类型字段的查询
Sequoiadb数据库是国产的企业级分布式数据库，Sequoiadb本身是key-value格式的nosql数据库，上层使用spark做SQL解析层，本文介绍如何使用sparksql查询Sequoiadb数组。下面举一个具体的例子来说明：1. 在SDB中创建集合，里面包含数据对象db.foo.createCL("array1", {ShardingKey:{_id:1}, Shard...
2018-08-21 14:32:50
612
原创 MySql集群模式
一 MySQL Cluster1、Cluster的介绍MySQL Cluster的关键部分－－sql node（MySQL Server）、data node（storage或者ndbd）。至于它的结构，我们从图形来进行理解。下面是最小配置的cluster，使用两台机器：上图有两个数据节点（用于保存持久化数据的）、两个SQL节点（提供给应用程序访问的前端）。下面是用了五台机...
2018-07-18 16:12:01
5720
原创 sequoiadb选举主节点的依据
我们知道sequoiadb主节点宕掉后，如果剩余的节点个数大于总节点个数的1/2，那么会选举出新的主节点。那么选举的依据是什么呢？即怎么从多个从节点中选出一个主节点呢？大概步骤如下：1. 首先比较这些节点上的当前LSN，如果某个节点的LSN比其它节点都大，那么选取它为主节点。2. 如果所有这些节点的当前LSN都一样，那么比较他们的权重（weight参数的值），如果某个节点的we...
2018-07-18 13:42:36
734
原创 如何判断sequoiadb的节点是否在全量同步
1.什么是全量同步？ SequoiaDB 通过使用远程复制功能，维护了数据的多个副本，即副本集。一个副本集是有助于防止数据库停机的、完全自我修复的分片。副本故障转移是完全自动，不需要管理员手动干预。一般来说，一个包含多个节点的分片构成一个副本集。架构如下所示： 在主副本上修改数据的操作会通过一个日志复制到从副本上，这个日志也叫做事务日志。这些事务日志包含了主副本中全部...
2018-07-18 10:47:46
533
原创 elasticsearch对接Sequoiadb
1、配置信息1.1、机器信息192.168.137.164 sdb1192.168.137.128 sdb2192.168.137.131 sdb31.2、Sequoiadb信息V3.0版本1.3、elasticsearch信息V6.2.2版本2、安装elasticsearch#解压配置即可tar -zxvf elasticsearch-6.2.2.tar -c/opt/elas...
2018-06-01 18:48:42
651
原创 PostgreSQL访问SequoiaDB时，字段名称的大小写问题
在PG的官网文档里，关于字段名称的大小写有这么一段描述：https://www.postgresql.org/docs/current/static/sql-syntax-lexical.html因此，在pg里面针对标识符（identifier）-- 主要是字段名称 -- 的大小写处理逻辑是：-- 如果不将它用引号括起来，...
2018-05-30 17:30:53
708
原创 cancl对接mysql安装及使用
1、环境准备 （1）安装mysql，要求5.0版本以上,本环境中安装路径为/opt/mysql/。 （2）安装环境jdk，要求1.7以上。 （3）使用root用户启动mysql >service mysqld start //启动mysql >service mysqld status //检查mysql启动状态 （4）查看canal...
2018-05-24 15:48:45
7630
1
转载 kafka集群搭建及使用
转载自http://www.cnblogs.com/luotianshuai/p/5206662.htmlKafka初识1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有...
2018-05-23 16:18:31
344
原创 postgresql查看用户名
查看当前连接的用户名： foo=#select * from current_user;或foo=#select user; 查看所有用户名： foo=#\du
2018-05-17 09:01:25
12215
转载 嵌套股份授权证明机制（NDPoS）
摘要：物联网区块链的超流体架构，主要包含几大特性：一、NDPOS共识算法；二、非对称账本结构；三、点对点加密通讯。其中，NDPoS主要解决在多链架构中，如何在区块链体系中保证跨链原子交易操作的实时性与可靠性；非对称账本结构则解决所有账本数据相同所带来大量无效存储、数据冗余、与带宽占用的问题；而点对点加密通讯则聚焦在物联网设备间通讯时的安全可靠机制。 本文从NDPoS共识算法的设计目的以及解决方案，...
2018-05-16 11:01:50
985
转载 区块链共识机制分析——论PoW，PoS，DPos和DAG的优缺点
近期，随着区块链技术在社区中的声音越来越大，业界已经开始从技术角度对区块链进行全方位的解读。作为第一批区块链技术的实现，传统比特币与以太坊在共识机制、存储机制、智能合约机制、跨链通讯机制等领域并没有非常严密的设计，从而引发了一些在数据库与存储领域比较常见的问题，导致其数据规模无法无限增加（当前仅几百GB就产生了严重的性能瓶颈，几乎不可能到达上百TB规模），吞吐量极为有限，使其不可能适应通用分布式数...
2018-05-16 10:06:39
3769
1
转载 去中心化数据库：传统IT与区块链的未来融合形式
前言：区块链从概念诞生到技术发展已经历较长时间，但是随着这两年的火热，才渐渐被市场和许多技术人员了解。作为一个数据库行业的老兵，巨杉数据库联合创始人兼CTO王涛看到传统的IT技术同学们对于在热潮之下的区块链技术，保持了十分理性，甚至是排斥的态度。在本文中，王涛将从数据库对比的角度，帮助传统IT人更好的理解区块链技术。同时，他也提出了区块链和数据库技术融合的未来方向——“去中心化数据库”的创想。以下...
2018-05-16 09:37:21
2666
原创 git报错 SSL connect error
报错信息：fatal: unable to access 'https://github.com/***/***': SSL connect error解决办法：git config --global http.sslversion tlsv1
2018-05-11 18:26:17
7900
原创 基于以太坊智能合约平台搭建
本文是作者亲自搭建的过程，写的相对比较粗糙，实测可用:安装操作操作步骤请参考一下博客https://zhuanlan.zhihu.com/p/27106175https://zhuanlan.zhihu.com/p/32911405执行机器路径为root@ubuntu2:/opt/eth/test#//执行命令，制造创世区块geth --datadir "./data0" init genesis...
2018-05-11 15:26:42
626
原创 go语言连接mysql操作
一、安装在windows下安装1、goland（go IDE） 安装位置： D:\package\goland2、go 安装位置 ： D:\package\go3、GOPATH 位置： D:\package\go\workspaceD:\package\go\workspace 创建三个空文件夹 在GOPATH目录下创建三个文件 bin 、src 、pkg4、GOROOT 位
2018-05-10 16:46:57
2158
原创 OLTP和OLAP对比
OLTP联机事务处理，OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如转账交易。OLAP 联机分析处理，OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
2018-05-10 16:39:15
247
原创 BASE和ACID对比分析
CAP理论CAP – Consistency, Availability, Partition Tolerance C表示一致性，为最终一致性。A表示可用性，三副本保证数据安全。P表示分区容错性，表示某些节点crash系统是否还能正常工作。其中一致性、可用性、分区容错性不能够同时满足，只能够对其一致性或可用性进行取舍。CAP两种选择分布式数据库因相对于关系型数据库最显著
2018-05-10 16:28:09
10353
转载 分布式数据库数据一致性原理说明与实现
前言分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”（Consistency）的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。1.数据一致性1.1数据一致性是什么大部份使用传统关系型数据库的DBA在看
2018-04-17 17:08:17
416
原创 informix数据库常用命令总结
作者因为工作需要informix，在安装执行informix过程中遇到不少坑，现将一些执行步骤和执行经验总结如下：一、创建用户[root@sdb3 opt]# groupadd informix[root@sdb3 opt]# useradd -g informix -d /opt/informix -s /bin/bash -m informix[root@sdb3 opt]# p...
2018-04-17 16:08:39
10176
原创 linux中eth0中没有inet addr
作者在inux虚拟机中设置静态IP后，每次开机执行ifconfig会发现eth0中没有inet addr ，但是有inet6 addr。[root@localhost Desktop]# ifconfigeth0 Link encap:Ethernet HWaddr 00:0C:29:23:FF:A0 inet6 addr: fe80::20c:29ff:fe2
2018-04-12 15:53:52
12538
原创 version `GLIBC_2.17' not found (required by ./bin/tikv-server)
某次作者编译软件时报错：version `GLIBC_2.17' not found (required by ./bin/tikv-server)错误信息大概是说缺少 glibc_2.17这个库。解决办法：(1)首先保证程序没有被strip,也就是说可执行程序含有符号表信息。出现这个问题的原因是glibc的版本太低，查看系统glibc支持的版本 >strings /lib64/libc.s...
2018-04-08 15:22:42
3057
原创 Error: authentication needed: password or unlock undefined
之前在geth中部署智能合约时，报错Error: authentication needed: password or unlock undefined 我的安装环境为ubuntu12，研究一番发现是账户没有解锁，部署智能合约之前首先要给账户解锁。显示为账户没有解锁，需要给账户解锁。首先停止挖矿>miner.stop()true检查挖矿是否已经停止，eth.mining 输出为false时表...
2018-02-22 15:16:28
7674
2
原创 Sequoiadb对接SequoiaSql应用开发实践（二）
Sequoiadb是支持sql的，SequoiaSql是解析sql语言，Sequoiadb来执行SequoiaSql解析出的语言并执行相关命令，SequoiaSql相当于客户端，Sequoiadb相当于后端。用户可以通过JDBC驱动连接SequoiaSql进行应用程序开发。 之前的文章介绍了Sequoiadb对接SequoiaSql应用开发实践，本文将介绍更加简单的一种方式进行对接。以前
2018-02-22 10:23:46
791
原创 linux编辑vi中文字符乱码
在首次安装centos时，应该只是安装了英文，系统没有安装中文的安装包。根据网上的一些教程自己整理如下：第一种办法1.fonts-chinese-3.02-9.6.el5.noarch.rpm. 如果无法安装，则加个–force2.fonts-ISO8859-2-75dpi-1.0-17.1.noarch.rpm第二种：yum -y install font
2018-02-22 09:45:20
1166
含有隐藏字符的数据导入Sequoiadb数据库
2017-09-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人