2017年11月_XiaoGuang-Xu

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Kafka学习资料

Apache Kafka监控之Kafka Web Consolehttps://www.iteblog.com/archives/1084.htmlApache Kafka监控之KafkaOffsetMonitorhttps://www.iteblog.com/archives/1083.html雅虎开源的Kafka集群管理器(Kafka

2017-11-29 16:18:36 646

原创使用第三方ZKClient 读取Zk数据报错

使用第三方ZKClient 读取Zk数据报错：Exception in thread "main" org.I0Itec.zkclient.exception.ZkMarshallingError: java.io.EOFExceptionat org.I0Itec.zkclient.serialize.SerializableSerializer.deserialize(Seri

2017-11-17 18:05:56 2681 1

转载分布式系列文章——从ACID到CAP/BASE

分布式系列文章——从ACID到CAP/BASEhttp://www.cnblogs.com/linbingdong/p/6178488.html事务事务的定义：事务（Transaction）是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元（Unit），狭义上的事务特指数据库事务。事务的作用：当多个应用程序并发

2017-11-16 10:32:49 304

转载分布式系列文章——Paxos算法原理与推导

分布式系列文章——Paxos算法原理与推导http://www.cnblogs.com/linbingdong/p/6253479.htmlPaxos算法在分布式领域具有非常重要的地位。但是Paxos算法有两个比较明显的缺点：1.难以理解 2.工程实现更难。网上有很多讲解Paxos算法的文章，但是质量参差不齐。看了很多关于Paxos的资料后发现，学习Paxos最好的

2017-11-15 11:41:49 275

转载 Paxos 算法

主要参考：百度百科Paxos 算法编辑Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人现在在微软研究院）于1990年提出的一种基于消息传递的一致性算法。这个算法被认为是类似算法中最有效的。Paxos算法是莱斯利·兰伯特（Leslie Lamport，就是 LaTeX 中的"La"，此人在微软研究院）

2017-11-15 10:01:09 342

转载 Paxos算法与Zookeeper分析

Paxos算法与Zookeeper分析http://blog.csdn.net/xhh198781/article/details/109496971 Paxos算法1.1 基本定义算法中的参与者主要分为三个角色，同时每个参与者又可兼领多个角色:⑴proposer 提出提案，提案信息包括提案编号和提议的value;⑵accepto

2017-11-14 17:34:41 202

转载使用Zookeeper实现分布式锁

使用Zookeeper实现分布式锁http://blog.csdn.net/massivestars/article/details/53771532实现原理Zookeeper的一个典型应用场景就是分布式锁，锁的实现是利用Zookeeper创建的临时时序节点(创建的时候CreateMode为EPHEMERAL_SEQUENTIAL)和节点变动的监听器实现的。时序节点保证了节点的创建在分

2017-11-13 15:44:53 299

转载使用ZooKeeper实现队列

使用ZooKeeper实现队列http://blog.csdn.net/massivestars/article/details/53870399实现原理先进先出队列是最常用的队列，使用Zookeeper实现先进先出队列就是在特定的目录下创建PERSISTENT_EQUENTIAL节点，创建成功时Watcher通知等待的队列，队列删除序列号最小的节点用以消费。此场景下Zookeeper

2017-11-13 15:43:12 367

转载使用Zookeeper实现Leader(Master)选举

使用Zookeeper实现Leader(Master)选举http://blog.csdn.net/MassiveStars/article/details/53894551应用场景分布式系统最典型的架构就是一主多从。在很多时候，虽然处理大规模的数据、图像和文件等，这种工作极其耗资源而且数据、文件等都是共享的，若全部机器都计算处理一次会浪费保贵的计算资源；我们可以把这些工作交给一台

2017-11-13 15:39:48 543

转载 Zookeeper之监听事件总结

zookeeper之监听事件总结http://blog.csdn.net/liu857279611/article/details/704954131. zookeeper的Watch机制一个zk的节点可以被监控，包括这个目录中存储的数据的修改，子节点目录的变化，一旦变化可以通知设置监控的客户端，这个功能是zookeeper对于应用最重要的特性，通过这个特性可以实现的

2017-11-13 15:22:47 2150

转载什么时候使用CountDownLatch

什么时候使用CountDownLatch本文由 ImportNew - 张涛翻译自 howtodoinjava。欢迎加入翻译小组。转载请见文末要求。正如每个Java文档所描述的那样，CountDownLatch是一个同步工具类，它允许一个或多个线程一直等待，直到其他线程的操作执行完后再执行。在Java并发中，countdownlatch的概念是一个常见的面试题，所以一定要确保

2017-11-13 15:19:30 304

转载 ZooKeeper实战应用之【统一配置管理】

ZooKeeper实战应用之【统一配置管理】原文： http://blog.csdn.net/u010739551/article/details/52278314大型应用通常会按业务拆分成一个个业务子系统，这些大大小小的子应用，往往会使用一些公用的资源，比如：需要文件上传、下载时，各子应用都会访问公用的Ftp服务器。如果把Ftp Server的连接IP、端口号、用

2017-11-13 15:12:25 248

原创 Zookeeper使用Ant 编译源代码报错

E:\1_Zookeeper\WS_Zookeeper\zookeeper-master>ant.bat eclipseBuildfile: E:\1_Zookeeper\WS_Zookeeper\zookeeper-master\build.xmlant-eclipse-download: [get] Getting: http://downloads.source

2017-11-10 21:20:45 2309

原创 win7下Ant编译Zookeeper源码为Eclipse工程

1、安装ant（1）下载ant，我下载的是apache-ant-1.9.4-bin.zip（地址：http://ant.apache.org/bindownload.cgi）（2）解压到特定目录，设置ANT_HOME（ant的解压路径）和path（%ANT_HOME%\bin）（3）打开cmd，运行ant -version，出现版本信息说明安装成功了。2、下载Zoo

2017-11-10 21:06:20 313

转载 kafka源码阅读环境搭建

1、源码地址http://archive.apache.org/dist/kafka/0.10.0.0/kafka-0.10.0.0-src.tgz2、环境准备centOSgradle 下载地址 https://services.gradle.org/distributions/gradle-3.1-bin.zip 安装请参考这里。注意要安装3.1版本，如果

2017-11-10 16:48:50 447

转载 Windows平台搭建Kafka源代码开发环境(Eclipse版本)

Windows平台搭建Kafka源代码开发环境(Eclipse版本)原文：https://www.cnblogs.com/huxi2b/p/4364128.html最近在研究Kafka源代码，需要自己搭建一个开发环境。官网上给出的提示略显简单，照着做了一遍也碰到了一些问题。特此记录下来。开发环境： Oracle Java 1.7_u71 + Eclips

2017-11-10 16:37:47 303

原创 Hadoop常见错误之HDFS

Hadoop常见错误之HDFS1，Datanode启动失败错误现象在启动Datanode时， /var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-hadoopserver06.log.out日志文件中有如下错误：Initialization failed for Block pool (Datanode Uuid una

2017-11-06 13:29:21 711

原创 MR中reduce阶段报错_1

MR在Reduce阶段中拉取数据失败？？Why？

2017-11-03 16:09:56 432

转载 tensorflow错误记录:tf.concat

错误提示：python TypeError: Expected int32, got list containing Tensors of type '_Message' instead.错误原因：tensorflow版本的问题：tensorflow1.0及以后api定义：(数字在后，tensors在前)tf.stack(tensors, axis=

2017-11-03 16:05:52 281