ronon77的专栏

      django 自从 1.7 之后解决了很多问题，并且对于数据库的操作带来了几个新命令用以解决数据迁移问题，今天开始看看文档学习一下。部分内容来源于网络Django 自 1.7 之后增加了类似 South 的 migration 功能，修改 Model 后可以在不影响现有数据的前提下重建表结构。这真是个千呼万唤始出来的 feature 了一、migration 介绍...

##背景之前做日志收集模块时，用到flume，另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列，当时自己并不清楚为什么要使用消息队列，而在我自己提出的原始日志采集方案中不适用消息队列时，有几个基本问题：1.日志文件上传过程，有个基本的生产者-消费者问题；2.另外系统崩溃时，数据丢失的处理问题。今天，几位同事再次谈到消息队列这么个东西，很NB的样子，我也想弄清楚，OK...

前言最近有个需求，在不同的系统中做数据同步。我们是java+mysql、他们是c#+sqlserver。需求是sqlserver提出的，并且他们提出要实时，并且要我们主动推数据给他们。他们接口都提供好了，说要我们对数据库表操作的时候调用他们的接口把数据传他们。咋看没有什么事，不就是一个接口的调用么。仔细想想，这样对我们的系统影响还是很大的，其他的不说。重要的一点是我们的系统都依赖他们的系统了...

env:jdk 1.8centos 7.1zookeeper 3.4.6 选这版体是因为对kafka做了很多优化，修改 Q1：zk启动不了A1:  ./zkServer.sh start-foreground     发现少了myid 解决 ：在zk数据文件存放目录下（见 $ZK/conf/zoo.cfg，dataDir属性），创建myid文件并写入一个数字用来标识本节点（...

1. 简介 kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。  i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。 ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeepe...

Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。　　为了简化开发者和服务工程师维护Kafka集群的工作，构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新...

当你将Kafka集群部署之后，你可能需要知道当前消息队列的增长以及消费情况，这时候你就得需要监控它。今天我这里推荐两款Kafka开源的监控系统：KafkaOffsetMonitor和Kafka Web Console。　　KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。　　你可以浏览当前的消息消费者组，每...

Zookeeper安装1. 安装wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gztar zxvf zookeeper-3.3.6.tar.gzmv zookeeper-3.3.6 /usr/local/zookeeper-3.3.6-2181cd /us...

myid文件缺失现象 ：zookeeper无法启动；异常 ：$dataDir/myid file is missing；原因 ：zk集群中的节点需要获取myid文件内容来标识该节点，缺失则无法启动；解决 ：在zk数据文件存放目录下（见 $ZK/conf/zoo.cfg，dataDir属性），创建myid文件并写入一个数字用来标识本节点（类似这个节点的身份证）。#示例节点 da...

kafka是一种高吞吐量的分布式发布订阅消息系统，它有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。卡夫卡的目的是提供一个发布订阅解决方案，它可以处理消费者规...

背景介绍Kafka简介　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输...