anjing900812的博客

一个安静的美男子

工作总结8-16

1 手写快速排序,算法和算法导论两个版本;链表的快排;单链表中交换指定的两个节点;ok,leetcode刷题找未排序数组中的中位数:partition选择排序;流式数据的中位数:同时使用最大堆和最小堆;两个已排序数组的中位数?lt数组右旋、字符串旋转;海量数据:统计一分钟内查询关键词的TOK1...

2016-08-17 13:58:11

阅读数 370

评论数 2

ActiveMQ简介

原文链接:http://www.cnblogs.com/kgdxpr/p/3381974.html ActiveMQ简介 1.  什么是ActiveMQ ActiveMQ是一种开源的,实现了JMS1.1规范的,面向消息(MOM)的中间件,为应用程序提供高效的、可扩展的、稳定的和安全的企业级消...

2016-07-21 20:48:12

阅读数 254

评论数 0

关于消息队列的使用

原文链接:http://www.cnblogs.com/chenpingzhao/p/5262050.html 一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题 实现高性能,高可用,可伸缩和最终一致性架构 使用较多的消息队列有Ac...

2016-07-21 20:19:12

阅读数 718

评论数 0

kafka总结系列(五)

Implementation Log         现有一个topic“my_topic”,两个分区,则在配置选项“log.dirs”指定的存储日志文件的目录下有两个文件夹:my_topic_0和my_topic_1。         每个文件夹下面有.index和.log两种类型的文件,.lo...

2016-06-27 19:14:54

阅读数 576

评论数 2

Kafka总结系列(四)

Replication         kafka中一个topic有若干分区,以分区为单位进行备份。创建topic时可以指定该topic的分区个数以及副本数m,一个partition有一个leader broker以及(m-1)个follower broker。follower像普通的consum...

2016-06-26 15:46:03

阅读数 834

评论数 2

Kafka总结系列(三)

继续上一篇。 The consumer:       kafka的消费者通过向broker发送“fetch”请求获取他要消费的partition的信息。消费者在每个请求中标记他已经消费到的offset值,broker将以该offset作为起始位置的a chunk of log即一批消息返回给c...

2016-06-26 13:38:29

阅读数 955

评论数 2

Kafka总结系列(二)

Design Persistence:     kafka高度依赖于文件系统来存储和缓存消息。对于磁盘的正确认识:对磁盘的线性读写比随机读写快很多倍,且有研究表明:对磁盘的线性读写在有些情况下可以比内存的随机访问要更快! Efficiency:     在消息队列系统中,如果磁盘的因素被排...

2016-06-25 21:16:33

阅读数 468

评论数 1

Kafka总结系列(一)

Apache kafka:一个高吞吐量的分布式发布订阅消息系统         从最初的了解、学习kafka,到后来基于其API进行开发,再到后来有意识地了解其实现原理,是一个漫长的过程。趁周末有空梳理一下期间读过的官方文档、技术博客等,以便自己日后复习。 特性如下: Fast:单台bro...

2016-06-25 15:31:15

阅读数 768

评论数 0

java.io.IOException: error=24, 打开的文件过多

开发的hadoop-consumer程序周期性重启,在程序运行日志中也找不到异常。后来才发现是因为: 1、try catch中使用e.printStackTrace(),本以为出现异常时会打印日志。但程序的日志直接输出至屏幕,然后写了一个shell脚本将其重定向至一个文件,郁闷的是异常信息并没有...

2015-11-23 14:48:49

阅读数 3020

评论数 1

HadoopConsumer——消费kafka中若干topic的消息,追加存储至hdfs的不同文件内

增强版的hadoopconsumer,消费kafka中的消息,存储至hdfs

2015-11-18 21:49:13

阅读数 4276

评论数 12

Kafka问题总结——SimpleConsumerDemo分析

kafka SimpleConsumer API

2015-10-28 22:17:28

阅读数 3962

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭