qq838642798的博客

框架介绍：对cassandra分布式数据库的一些总结（由于cassandra资料比较少，总结只是个人理解，仅作为参考）:Cassandra是NOSQL数据库的一种，是基于列族存储的轻量级分布式数据库。thrift框架：Cassandra客户端和服务端是通过thrift框架进行通信的，thrift框架是一个跨语言的服务部署框架，使用了一种中间语言IDL来定义R

1． 从ZooKeeper构造方法开始：    public ZooKeeper(String connectString, intsessionTimeout, Watcher watcher,            long sessionId, byte[]sessionPasswd, boolean canBeReadOnly)        throws IOExceptio

1．  修改配置文件拷贝原来非集群的配置文件并进行修改如cluster_redis_6379.conf，其他配置可以保持不变，只要把以下三项配置项去掉注释#就行cluster-enabled yescluster-config-file nodes-6379.conf                    //该文件会生成在数据持久化文件目录下cluster-node-timeou

Kafak的单实例安装1.      下载安装http://apache.mirror.colo-serv.net/kafka/这个网址有各个版本的kafka下载解压 tar -xzf kafka_2.11-0.11.0.0.tgz进去bin目录下执行bin/zookeeper-server-start.shconfig/zookeeper.properties bin/k

一直被dubbo的spring相关配置搞得比较晕，dubbo作为淘宝自己搞得东东，也没有太多像样的成系统的书籍资料，所以相关知识显得比较零碎。趁机会把相关知识尤其是配置知识整理记录一下，以供记忆。Application层的配置--应用配置，用于配置当前应用信息，不管该应用是提供者还是消费者，这一层目前只知道name字段的配置，表示应用的名字，服务端和客户端名字不同Registry层

同步和异步调用对于zookeeper的所有API调用都提供了正常的同步调用和异步调用两种类型的调用接口，比如zookeeper创建某个目录节点的接口为例：同步调用接口： String create(final Stringpath, bytedata[], List acl,           CreateMode createMode)异步调用接口： voi

1. 消费方调用所有服务提供方的配置<dubbo:serviceinterface="operatingPlatform.DispatchServer"  ref="DispatchServerImpl"executes="20"cluster="broadcast"/>--注意红色部分，这个配置说明是广播模式调用服务提供方，在这种配置情况下，所有注册到注册中心的服务提供方都会收到客户

举个例子：Hbase的java的API接口相对比较简单，举个创建表的例子来看：public class HbaseApiTest {         staticConfiguration conf = null;          static{       conf = HBaseConfiguration.create();       conf.set("hbase

Hbase单机版安装对于单机版而言，hbase的安装非常简单1．  下载hbase压缩包，比如hbase-1.3.1-bin.tar.gz，然后解压2．  配置环境变量JAVA_HOME(如果机器上以及配置该变量，则直接使用)3．  然后去conf目录下修改配置文件hbase-site.xml，增加下面内容：        hbase.rootdir       f

1.      更详细的duboo的集群路由和负载均衡机制分析首先进入XXClusterInvoker类:invoke(final Invocation invocation)-> Directory.list(invocation)进入XXDirectory（RegistryDirectory）类：list(invocation)->doList(Invocation invoc

由于项目需求特殊,需要在dubbo中实现一种能指定远程地址的分发机制，刚开始想在直连的配置上解决，后来发现对于已经加载了dubbo xml配置的spring容器中是无法在代码层面进行有效的修改的（因为貌似会重新加载xml文件中原有的配置记录），另一方面，这种做法会产生并发冲突的隐患。后来经同事提醒，使用了dubbo留出来的扩展点的方法实现了这个功能，也就是实现了AbstractLoadBalanc

对于一个dubbo服务程序，如果需要在一台机上启动多个进程，就需要每个进程占用不同的端口，对于dubbo而言，是不能在代码层面改变配置信息的，所以需要在JVM参数中指定不同的端口号：java -Ddubbo.protocol.port=20882 xxx.jar

1．   单机单实例或多实例安装单实例的安装步骤很简单（1）首先去redis官网上下载最新的稳定版本（可以直接去redis中文官网http://www.redis.cn/download.html）wget http://download.redis.io/releases/redis-4.0.1.tar.gz（2）下载的是压缩包，解压tar xzf redis-4.0.1

Jedis包中有个很恶心的问题，那就是包里面有支持分片的ShardeJedis客户端类，也有支持哨兵的池类JedisSentinelPool，就是没有既支持分片又支持哨兵的池类，所以必须自己自定义一个ShardedJedisSentinelPool，定义这个类，在网上有个很受欢迎的版本，是继承了Pool类后重写相关的池操作的方法，个人觉得这种方案太麻烦，而且据反馈也有很多考虑不全面的细节，造成bu

网络上有句流行语:集齐七颗龙珠，便可召唤神龙。那么问题来了，如果从零开始设计一套分布式去中心化的数据库集群需要多少颗“龙珠”呢？答案是6颗，对你没听错，不是998，也不是888，只需6颗龙珠，你也可以从理论上拥有一个私人订制的分布式去中心化的数据库集群系统，还犹豫什么吗，赶快往下看。       怎么设计？我们需要从一个用户的角度去看问题，什么叫用户的角度，说白了就是一个key-val

对于实时话单而言，巨大的数据量和无规则的重发单导致如何对海量数据进行过滤成为一个难题，对于某大地市而言，一个月的话单量能达到50亿到60亿条话单。如果每条话单都去持久化数据库中查找，效率非常低下，如果存放在内存中，目前还没有生产主机的内存能容纳这么巨量的话单，即使存放的是比较短的话单id(保守估计每个id是80个字符组成的字符串，加上String类型的冗余属性可能达到100个字符），需要的总内存为

package jedis;import redis.clients.jedis.*;import java.util.HashMap;import java.util.Map;public class JedisDemo { private static final JedisPool JEDIS_POOL; static { JedisPoolC

Redis在各个分布式数据库中，原理不算复杂,简单来说就是一句话：哈希切割再哈希切割再哈希。由于redis是内存数据库，所有数据都在内存中，所以什么索引，过滤器啊都不需要用，就是用多层哈希表来实现数据分发存储和快速查找的能力。本篇文章打算总结下redis应用方面的知识点。1.       redis支持的五种（或则说六种）数据类型的读写常用方法：redis是key-value结构的，其中它

分片链接sharejedis的流程源码分析：创建sharejedis有两种方法，一个是通过池的方式shardedJedisPool.getResource()，这里面底层的实现涉及到java通用池的源码分析，后续有机会再分析，先说说普通的通过构造方法创建的流程源码。 public ShardedJedis(List shards, Hashing algo,Pattern keyTagPa

Dubbo作为淘宝搞出的框架，居然没提供相关文档，这样学习这个框架变得比较困难，尤其是入门这步，看了网上零零种种的关于Dubbo的总结，总感觉说的太罗嗦了，没有抓住重点，简单来说dubbo是种非侵入式的RPC(远程访问)框架。关键是两个词非侵入式，RPC。所谓的非侵入性是指dubbo并没有参杂入实现代码中，实现代码并不直接依赖dubbo的相关类。而是通过Spring XML的配置文件的形式进行

接触cassandra比较早了，13年时就开始了解使用（算是最早使用的一批），虽然到现在cassandra的底层实现原理没什么变化，但是客户端方面已经增添了很多新特性和新的操作接口，使它的操作越来越像sql了。太长时间没有去了解和总结新的特性和接口，让我对项目中的cassandra部分的使用居然有点无所适从，真是尴尬。所以是该时候进行新的总结了。首先看建表空间和建表语句：旧的使用客户端

总的来说，cassandra新增了一个包，名字：com.datastax.driver.core这个包提供了很多api类和接口，让在代码中对cassandra数据库的操作变得更容易和更简洁了。首先从创建一个连接说起1． com.datastax.driver.core.PoolingOptions连接池类PoolingOptions pools = new PoolingOptio

前置条件：每条话单大概0.7K写客户端单线程props.put("acks","all");props.put("retries", 0);props.put("batch.size", 16384);props.put("linger.ms", 100);props.put("buffer.memory", 33554432);props.put("key.ser

kafka自带维护脚本工具总结：topic管理脚本：kafka-topics.sh(包括topic的创建，修改，删除，查询)创建topic: sh kafka-topics.sh –zookeeper 132.121.121.4:2181 –create –topictest1 –partitions 4 --replication-factor 2列出所有topic: sh kafk

网上关于hdfs的一些初步总结不大好找，搞得初步了解hdfs花了比较多时间。现在准备写点初步学习总结以便能加深记忆，顺便为网上多添点资料。以下就从5大方面进行初步总结：1.      整体框架：总体来说，hdfs的大体框架是比较简单的，作为分布式文件系统，相比普通的文件系统有很多类似之处。主要分成两大类型节点，一个是NameNode,另一个是DataNode，前者承担着文件系统的元信息

       去ORACLE官网下载PLSQL安装包，如plsqldev1208x64（具体根据个人主机操作系统位数）。需要注册账号才能下载。        去Oracle官网下载oracle客户端压缩包instantclient_12_1（注意，一定要下载简易版，其他的不行，会老是报解析tnsname.ora中的连接串错误的异常，十分坑），解压，修改NETWORK\ADMIN 目录下的tnsn...