分布式系统
文章平均质量分 82
Michaelzhangyy
研究领域:大数据管理,数据库,分布式事务,图数据
展开
-
MongoDB Shard Key的优化浅析
本篇文章真要针对MongoDB的官网上关于shardkey的选择:http://www.mongodb.org/display/DOCS/Choosing a ShardKey#1355。其中有一点叫做Index optimization:Index optimizationAs mentioned in other sections about indexing, it is usual原创 2015-01-04 10:19:01 · 1158 阅读 · 0 评论 -
使用libevent和多线程构建高性能服务器(客户端)
有问题可以联系我zhangtiey@gmail.com因为开发数据库集群,节点需要通信,必须构建基于socket的C++网络通信系统。多年前使用UPD写过P2P流媒体,但是现在需要TPC,首先使用了Nanomsg作为网络库,但是开发过程中发现其不靠谱(模式太单一,并且出了问题根本找不到解决办法)。于是又掉头回来使用原生的socket编程。发现目前比较流行的(C++)网络编程使用libevent原创 2016-03-24 07:53:37 · 11318 阅读 · 3 评论 -
HBase安装调试可以借鉴的文章
http://www.linuxidc.com/Linux/2012-12/76948.htmhttp://www.linuxidc.com/Linux/2012-12/76948p3.htmhttp://www.linuxidc.com/Linux/2012-12/76947.htm转载 2015-10-07 21:22:54 · 380 阅读 · 0 评论 -
Hadoop分布式部署
好久没有部署集群了,需要测试性能,本次部署记录如下:HBase-0,94.5+Hadoop-1.0.4,已经安装好了java,3台机器,1台namenode/master,2台datanode/regionserver用户名可以用hadoop这样隔离起来挺好,不过我直接使用了当前用户名先设置/etc/hosts10.92.2.75 c1.N2.Domino.nar原创 2015-10-19 08:35:53 · 424 阅读 · 0 评论 -
HBase分布式部署
环境为3台机器,并已经安装好了Hadoop,参见我前面的帖子下载,解压$ wget wget http://mirror.esocc.com/apache/hbase/hbase-0.94.5/hbase-0.94.5-bin.tar.gz$ tar zxvf hbase-0.94.5-bin.tar.gz -C /l0hbase-env.sh在这个文原创 2015-10-19 08:59:12 · 446 阅读 · 0 评论 -
在Hbase Endpoint Coprocessor中使用coprocessorProxy操作例子与问题解析
No matching handler **** for protocol in *** region原创 2015-06-29 23:03:08 · 1187 阅读 · 0 评论 -
重温HBaes部署与java客户端访问
好久没搭起来测测了,今天顺手搭起来用用。结果遇到了很多问题,下面一一说明一、部署简单起见,我使用了stand-alone模式。直接下载解压即可,注意的是需要改动hbase-site.xml: hbase.rootdir file:///root/zhangtieying/hbase原创 2015-06-20 22:59:42 · 880 阅读 · 1 评论 -
如何在图数据库上实现图计算框架
图数据库解决的是图数据的查询问题,图计算框架解决的是图计算的问题,首先我们要搞清楚二者如何区分,再讨论如何结合。图查询:主要面向的是路径查询。比如从一点出发的两跳邻居;再如从点A出发3跳内和B点的路径;图计算:对全图节点进行迭代运算。比如RageRank,需要每一个节点从一开始就要参与计算;再如计算图中存在的联通子图;再如计算图中度数大于一百万的节点;再如计算两点间路径。原创 2015-04-02 16:35:24 · 3113 阅读 · 0 评论 -
latch与lock区别
【原文参考https://github.com/sdg-sysdev/bdb-study/blob/master/btree_locking.txt】B-TREE locking需要区分两种情况:1. 并发的数据库事务在查询或修改数据库内容时对B-TREE索引访问的并发控制2. 并发的线程对内存中的B-TREE数据结构进行访问时的并发控制转载 2015-01-04 10:19:09 · 2810 阅读 · 0 评论 -
SSCC/Domino:分布式事务的突破性进展
Domino(Decrease cOnflict, assist comMIt, NO rollback)是构建在HBase上的分布式事务引擎,支持完整的ACID事务特性。在架构上,Domino与HBase完全松耦合,使用HBase Coprocessor作为运行时框架,因此可以与任何升级后的HBase版本兼容。事务系统的核心为并发控制,Domino的并发控制机制称之为Stateles原创 2014-12-31 16:42:09 · 852 阅读 · 0 评论 -
Thrift安装遇到的问题及解决方案
1.必须安装boost。最新的稳定版是1.48.0。1.1.先下载:http://sourceforge.net/projects/boost/files/boost/1.48.0/ 选择tar.gz包, 下载后我解压到了/usr/local/boost_1_48下:tar zxvf boost1.48.0 -C/usr/local/boost_1_481.2.安装过程原创 2015-01-04 10:18:45 · 403 阅读 · 0 评论 -
5分钟读懂raft:非常好并且直观解释Raft的网页
有问题联系我:zhangtiey@gmail.com就一个连接,哈哈:http://thesecretlivesofdata.com/raft/原创 2017-06-28 02:51:20 · 1801 阅读 · 0 评论