Java API操作ZK node

创建会话 建立简单连接 /** * 测试创建Zk会话 * Created by liuhuichao on 2017/7/25. */ public class ZooKeeper_Constructor_Usage_Simple implements Watcher { private static CountDownLatch connectedSemaphore=new Coun...
阅读(48) 评论(0)

脚本操作zk

使用[root@localhost bin]# ./zkCli.sh连接本地zk创建create [-s] [-e] path data acl其中,-s是创建顺序或临时结点。默认情况下,不添加代表的是创建持久节点。 例如:create /zk-book 123读取 ls 用法: ls path [watch] 其中,path表示的是指定数据节点的节点路径。 改名了只能看到指定节点下第一级的所有...
阅读(30) 评论(0)

ZK单机最简配置

修改zk home/conf下的zoo_sample.cfg,重新命名为zoo.cfg。 修改配置为: dataDir=/root/data/zookeeper-data clientPort=2181 initLimit=5 syncLimit=2 server.1=192.168.99.215:2888:3888 进入bin目录,执行: ./zkServer.sh start...
阅读(39) 评论(0)

编写可读代码的艺术读书整理

好代码的各种衡量 之前看过一些**编码规范,作者一般上来都是这样子的,先说明自己来自某大厂,职位什么的,然后下面就开始逐条规定,对于什么样的情况,我该怎么写代码。其实,这过程中是有些内容被忽视掉了的,那就是什么是好代码?在整理编码规范前,我觉得有必要去想想这个问题的。 运行效率高的?比如:a/2写成a<<1这种,把每句代码的取址-译码-执行的时间降低到最低?nono,这是个标准,但是不是这个时代...
阅读(35) 评论(0)

Why ZK

ZooKeeper是一个开放源代码的分布式协调服务,由知名互联网公司雅虎创建,是Google Chubby的开源实现。ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。 ZooKeeper是什么ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅,负载均衡...
阅读(58) 评论(0)

3PC

3PC,是Three-Phase Commit的缩写,即三阶段提交,是2PC的改进版,其二阶段提交协议的“提交事务请求”过程一分为二,形成了由CanCommit,PreCommit,do Commit三个阶段组成的事务处理协议。 阶段一:CanCommit 1.事务询问:协调者向所有的参与者发送一个包含事务内容的canCommit请求,询问是否可以执行事务提交操作,并开始等待各个参与者的响应。 2....
阅读(53) 评论(0)

2PC

两阶段提交()Two-Phase Commit):是计算机网络尤其是在数据库领域内,为了使基于分布式系统架构下的所有节点在进行事务处理过程中能够保持原子性和一致性而设计的一种算法。通常,二阶段提交协议也被认为是一种一致性协议,用来保证分布式系统数据的一致性。目前,绝大部分的关系型数据库都是采用二阶段提交协议来完成分布式事务处理的,利用该协议能够非常方便地完成所有分布式事务参与者的协调,统一决定事务的...
阅读(51) 评论(0)

BASE理论

BASE是Basiclly Available(基本可用),Soft state(软状态),Eventually consistent(最终一致性)三个短语的缩写。 BASE是对CAP中一致性和可用性权衡的结果,其来源于对大规模互联网系统分布式实践的总结,是基于CAP定理逐步演化而来的,其核心思想是即使无法做到强一致性,但每个应用都可以根据自身的业务特点,采用适当的方式来使系统达到最终一致性。...
阅读(86) 评论(0)

CAP定理

CAP定理告诉我们:一个分布式系统不可能同时满足一致性(C:Consistency),可用性(A:Availability)和分区容错性(P:Partition tolerance)这三个基本要求,最多只能同时满足其中的两项。 一致性在分布式的环境中,一致性是指数据在多个副本之间是否能够保持一致的特性。在一致性的需求下,当一个系统在数据一致的状态下执行更新操作后,应该保证系统的数据仍然处于一致的状态...
阅读(84) 评论(0)

Spring-Kafka 2.0.0发送API翻译

Kafka Template–2.2.0 apiKafkaTemplateKafkaTemplate这个类包装了个生产者,来提供方便的发送数据到kafka的topic里面。 同步和异步的方法都有,异步方法返回一个Future。ListenableFuture<SendResult> sendDefault(V data);ListenableFuture<SendResult<K, V...
阅读(153) 评论(0)

Java死锁检测

ThreadMXBean常用方法: /** ThreadMXBean常用方法test */ ThreadMXBean threadMXBean= ManagementFactory.getThreadMXBean(); int count=threadMXBean.getThreadCount();//获取当前线程数目 System.out.prin...
阅读(92) 评论(0)

HBase写入优化--write buff

write buff操作 前两天在观察kafka消费数据的时候,发现HBase偶尔会报一个org.apache.hadoop.hbase.RegionTooBusyException: org.apache.hadoop.hbase.RegionTooBusyException这种错误出来,从描述上看,是HBase写入太过频繁导致的。 首先来看我的写入操作代码:/** * 单条更新hb...
阅读(108) 评论(0)

HBase伪快速分页查询

之前有两个功能,都是查询历史数据的一个分页查询,系统刚上线的时候,没有太多的数据,就一直扔在mysql里面,后来里面数据上亿之后,就查不到了,而且数据还在以指数级增长方式上报,后来,这部分业务单独迁移到hbase集群去存放,之前页面的查询也改查hbase了。但是hbase对分页查询这种东西支持不好,如果按照以往查询mysql的思路,查询出一个总的count,再查询出这一页的数据,这种方式去查询hb...
阅读(166) 评论(1)

HBase计算表的总count

不解释,看代码去吧,很简单。 private long findBatterHisDataCount(BatteryHisDto dto) throws Exception{ long totalSize=0; Table table=runner.getTable(tableName); Scan countScan = new Scan(); ...
阅读(121) 评论(0)

Kafka 消费过程中遇到的一些问题

1.Error UNKNOWN_MEMBER_ID occurred while committing offsets for group *昨天遇到kafka的消费端报错如下: 2017-06-21 10:55:32,032 [messageListenerContainer_batteryGroupAlarm-C-1] ERROR org.apache.kafka.clients.cons...
阅读(200) 评论(0)

望江南

江南柳,叶小未成阴。人为丝轻那忍折,莺怜枝嫩不胜吟。留取待春深。    十四五,闲抱琵琶寻。堂上簸钱堂下走,恁时相见已留心。何况到如今。     。。。。。...
阅读(151) 评论(0)

Kafka——使用spring进行集成

生产者: <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLo...
阅读(486) 评论(5)

Kafka——使用java api进行pub & sub

之前用过老的api,但是最近在写消费的时候,发现之前老的api很多方法都out了,又去官网看了下最新的0.10.x的api.1,producer org.apache.kafka kafka-clients 0.10.1.0 public static void main(String[] args) { Properties props = new Pr...
阅读(287) 评论(1)

HBase常用过滤器

列值过滤器 SingleColumnValueFilter filter = new SingleColumnValueFilter( Bytes.toBytes(HBRunner.DEFAULT_FAMILYNAM), Bytes.toBytes( BatteryGroupICU1Columns.BATTERY_GROUP_NO),...
阅读(175) 评论(1)

After 486 blog posts

My first blog posts was in 2013-05-14,and now is 2017-5-8,how time flys!    In this about four year, I wrote 486 articles.Most articles is about programming language,some popular frameworks,how to des...
阅读(224) 评论(2)
514条 共26页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:778254次
    • 积分:19478
    • 等级:
    • 排名:第411名
    • 原创:498篇
    • 转载:13篇
    • 译文:3篇
    • 评论:5114条