- 博客(37)
- 收藏
- 关注
RSS订阅原创 Kafka Producer同步模式发送message源码分析
先把几个比较重要的方法列出来// 入口，处理 message及messages def handle(events: Seq[KeyedMessage[K,V]])//处理序列化的KeyedMessage数据 private def dispatchSerializedData(messages: Seq[KeyedMessage[K,Message]]): Seq[Key
2014-02-25 18:45:18
15786
转载 zookeeper学习
Zookeeper是一个针对大型分布式系统的可靠协调系统简介：Zookeeper是Google的Chubby一个开源的实现，是高有效和可靠的协同工作系统，Zookeeper能够用来leader选举，配置信息维护等，在一个分布式的环境中，需要一个Master实例或存储一些配置信息，确保文件写入的一致性等.ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，包含一个简单
2014-02-10 14:49:07
1450
原创 Kafka-broker配置说明
配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。broker.id 整数，建议根据ip区分 log.dirs kafka存放消息文件的路径， 默认/tmp/kafka-logs port broker用于接收producer消息的端口zookeeper.connnect zookeeper连接 格式为 ip1:port,ip2:port
2014-01-21 15:48:07
20456
原创 Kafka命令行常用命令说明
基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况）bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181
2014-01-17 14:46:37
31311
2
转载 Flume-ng agent配置说明
see: http://flume.apache.org/FlumeUserGuide.htmlConfigurationAs mentioned in the earlier section, Flume agent configuration is read from a file that resembles a Java property file format wit
2014-01-16 16:43:35
4883
原创 Apache Flume初识
Apache flume是一个分布式的，可靠的，高可用的系统，能够有效地收集、汇总和移动大量的从许多不同的来源日志数据，并集中式存储数据。1）它是FlumeOG的重构版本，apache来开发管理。2）它变的很简单， Master、zookeeper、collector和WebUI没有了3）简化成了1、source （avro：很简单使用；exec：使用shell命令）2、sin
2014-01-16 15:33:46
1193
原创 Kafka核心思想
Kafka是2010年12月份开源的项目，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群。设计目标：(1) 数据在磁盘上的存取代价为O(1)(2) 高吞吐率，在普通的服务器上每秒也能处理几十万条消息(3) 分布式架构，能够对消息分区(4) 支持将数据并行的加载到hadoop架构：Kafk
2014-01-16 11:04:50
6455
转载 kafka Replication tools
Pages IndexReplication toolsSkip to end of metadataAdded by Sriram Subramanian, last edited by Neha Narkhede on Sep 18, 2013 (view change)show commentGo to
2014-01-06 23:00:43
1420
原创 Kafka分布式消息发布和订阅系统简介
在kafka官网上对kafka的定义叫：A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思，所以更准确的说kafka是一个消息订阅和发布的系统。publish-subscribe这个概念很重要，因为kafka的设计理念就可以从这里说起。Kafka有哪些吸引程序员去使用的特点：在A
2013-12-21 00:08:43
2481
原创 Kafka0.8.0集群构建
最近要做实时计算相关的东西，目前每天约100G日志，还在不断增长，高峰时一天400G日志。考虑过flume+activemq+storm+redis+hadoop， 考虑用kafka做mq的备用方案。我这里用了公司的三台机器192.168.197.170192.168.197.171192.168.197.172
2013-12-20 20:46:19
4737
原创 Kafka-0.8.0单机配置安装
Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样，设计非常独特。首先，kafka的开发者们认为不需要在内存里缓存什么数据，操作系统的文件缓存已经足够完善和强大，只要你不搞随机写，顺序读写的性能是非常高效的。kafka的数据只会顺序append，数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客
2013-12-20 17:58:14
3498
1
原创 Hive远程模式
1下载并安装MySQL并启动服务（我的MySQL安装在宿主机Windows下）2在MySQL中建立数据库用于存放Hive元数据，并为为数据库建立账号，并赋予需要的权限3下载并解压Hive4为Hive配置环境变量5配置hive-config.sh文件6配置hive-site.xml文件，并配置MySQL连接信息7把mysql-connector-java-x.x.x.jar 复制到Hive的lib目录下8启动Hive9验证Hive是否启动成功
2013-12-11 18:30:37
6194
原创 HBASE完全分布式模式的安装
1集群环境下hadoop.1.1.2已经安装成功2配置hosts，及环境变量3编辑hbase-env.xml4编辑hbase-site.xml5编辑regionservers文件6把Hbase复制到其它节点7启动Hbase8验证启动
2013-12-10 22:44:09
2691
原创 Hadoop完全分布式模式的安装和配置
Hadoop完全分布式模式的安装和配置一、建立hadoop运行账号二、配置hosts文件三、下载并解压jdk四、下载并解压hadoop安装包五、为hadoop账户配置ssh免密码连入六、配置hadoop-env.sh七、conf文件夹下修改site文件八、conf文件夹下配置masters和slaves文件九、向各节点复制/etc/hosts,/etc/profile,jdk及hadoop十、格式化hdfs十一、启动hadoop十二、用jps检验各后台进程是否成功启动
2013-11-25 01:52:29
2849
1
原创 Hadoop伪分布式模式的安装和配置
① 配置ssh，生成密钥，使到ssh可以免密码连接localhost② 下载并解压jdk，并配置环境变量③ 下载并解压Hadoop安装包，本文选择版本hadoop-1.1.2.tar.gz④ 进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件 ⑤ 编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件⑥ 格式化HDFS⑦ 使用bin/start-all.sh启动Hadoop⑧ 使用bin/stop-all.
2013-11-24 16:15:59
1521
原创 MySQL数据库锁介绍
MySQL数据库锁介绍1. 锁的基本概念当并发事务同时访问一个资源时，有可能导致数据不一致，因此需要一种机制来将数据访问顺序化，以保证数据库数据的一致性。锁就是其中的一种机制。我们可以用商场的试衣间来做个比喻。商场里得每个试衣间都可供多个消费者使用，因此可能出现多个消费者同时试衣服需要使用试衣间。为了避免冲突，试衣间装了锁，某一个试衣服的人在试衣间里把锁锁住了，其他顾客就不能再从外
2013-10-27 17:34:42
18156
4
原创 Java远程调用（二）实现一个简单的服务框架
自己实现一个服务框架用java程序自己写一个简单的服务框架通信协议：socket 网络io:bio线程方式：无限线程池远程调用的透明化方案：jdk 动态代理Proxy序列化：java本身先贴 发布服务的方法/** * 发布服务 * * @param service * 服务实现 * @param port
2013-09-07 00:04:35
1924
原创 Java远程调用（一）基本原理
最近项目开始服务化，稍微看了些远程服务调用的东西，主要还是公司一位前辈的一些经验。有哪些远程调用技术： Dubbo 、 RMI、 Web Service 、 Hessian、netty。基本原理：在底层层面去看，就是将流从一台计算机传输到另外一台计算机，基于传输协议（ http、tcp、udp等等）和网络IO（ bio、nio、aio ）来实现。关键技术点：1. 通信协议：
2013-09-06 23:40:35
2222
原创 Java动态代理Proxy
package org.leo.proxy;/** * @author Leo.Chen */public interface XiangQin { String xiangQin(String guNiang);}针对接口的某种具体实现package org.leo.proxy;/** * realSubject */public class LeoXiangQin
2013-08-29 00:11:22
944
原创 多线程编程二：调整线程池的大小
调整线程池的大小 调整线程池的大小基本上就是避免两类错误：线程太少或线程太多。幸运的是，对于大多数应用程序来说，太多和太少之间的余地相当宽。 在应用程序中使用线程有两个主要优点，尽管在等待诸如 I/O 的慢操作，但允许继续进行处理，并且可以利用多处理器。在运行于具有 N 个处理器机器上的计算限制的应用程序中，在线程数目接近 N 时添加额外的线程可能会改善总处理能力，
2013-08-26 23:06:37
1119
原创 多线程编程一：带有信号量及计数器的多线程线程池
最近项目要用到多线程处理任务。 写了个线程工具。 用到了JDK的多线程工具，信号量Semaphore及计数器CountDownLatch Semaphore用来控制任务的提交速率 当所有任务被submit后， 执行await(time), 等待计数器清零后手动关闭线程池package org.leo.concurrent;import java.util.Random;
2013-08-26 22:50:41
1444
转载 转载：《myeclipse6.5安装m2eclipse方法》
原文出处：http://fableking.iteye.com/blog/1185456 原文作者：欣水寓言 声明：本人转载只为分享，如涉及商业版权纠纷，请及时与本人联系，必将立即删除，造成不便，还望见谅，谢谢。 myeclipse6.5后默认就会安装上一个maven的插件，但是这个插件功能并不完全，需要自己安装m2eclipse才好 安装方法： •首先
2013-05-10 22:57:58
794
转载 hadoop集群默认配置
获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default
2013-01-08 21:18:33
603
原创 单例模式
单例模式，多线程安全、高性能现在的互联网环境的服务都是集群的，所以synchronized大多数情况下都是无效的，需谨慎使用，即使单服务在多核处理器并发模式下如果没有volatile修饰，依然是失败的实现。package chris.singleton;/** *利用双重检查加锁(double-checked locking) *首先检查是否实例已经创建，尚
2012-11-27 10:19:34
656
原创 Spring+quartz集群配置
先贴上配置文件，其他明天补上，如有疏漏欢迎指正#============================================================================# Configure Main Scheduler Properties #========================================================
2012-11-15 21:18:35
1793
转载 quartz.properties配置
原文链接http://chinaxxren.iteye.com/blog/962149：一. 主要的 Quartz 属性 表 A.1 列出了主要的 Scheduler 属性。它们用于声明和标识 Scheduler 和其他高层次的设置。表 A.1. 主要的 Quartz Scheduler 属性名称必须类型默认值 org.quart
2012-11-15 20:19:38
3582
原创 Redis学习笔记1--简介及简单安装
一、Redis简介：Redis（http://redis.io）是一款开源的、高性能的键-值存储（key-value store），它是用ANSI C来编写。Redis的项目名是Remote Dictionary Server的缩写，但它常被称作是一款数据结构服务器（data structureserver）。Redis的键值可以包括字符串（string）、哈希（hash）
2012-11-09 22:35:30
792
原创 Log4J配置文件
Log4J配置文件的基本格式如下:#配置根Loggerlog4j.rootLogger = [ level ] , appenderName1 , appenderName2 ,...#配置日志信息输出目的地Appenderlog4j.appender.appenderName = fully.qualified.name.of.appender.class
2012-11-07 23:20:39
813
转载 Redis学习笔记0--redis.conf配置项说明
转个详细的# Redis示例配置文件# 注意单位问题：当需要设置内存大小的时候，可以使用类似1k、5GB、4M这样的常见格式：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes# 1gb => 1024*1024*
2012-10-29 21:51:51
812
原创 Redis在windows下的安装使用
Redis在windows下的安装使用下载的windows版本是redis-2.0.2，解压到D盘下：D:\redis-2.0.2进到该目录下，有下列文件： redis-server.exe：服务程序 redis-check-dump.exe：本地数据库检查 redis-check-aof.exe：更
2012-10-29 21:48:28
803
原创 MySql数据库死锁deadlock
今天在项目性能测试中遇到个Mysql的DeadLock的问题。后来根据数据库日子查找原因，大概模拟一下发生的情形。 数据库用的innoDB。InnoDB行锁是通过给索引上的索引项加锁来实现的，InnoDB这种行锁实现特点意味着：只有通过索引条件检索数据，InnoDB才使用行级锁，否则，InnoDB将使用表锁！下面例子中id是主键，操作都走索引，锁都是row lock。
2012-10-25 21:58:53
7762
1
原创 solrj的使用
1. 之前已经配置好了solr服务，并已经启动。2.在工程中导入solr3.6.1中的jarapache-solr-core-3.6.1.jarapache-solr-solrj-3.6.1.jarsolrj-lib\commons-codec-1.6.jarsolrj-lib\commons-httpclient-3.1.jarsolrj-lib\co
2012-10-23 15:48:21
870
原创 solr和tomcat整合
solr和tomcat整合先下载lucene和solr,及中文分词器mmseg4jlucene和solr我用的3.6.1版http://www.apache.org/dyn/closer.cgi/lucene/java/3.6.1-->http://www.apache.org/dyn/closer.cgi/lucene/solr/3.6.1http://mmseg
2012-10-23 14:11:59
847
原创 HighCharts使用
写了个Highcharts Example Highcharts Example /** * 配置参数对象，可灵活修改 */ function chartOptions(id,type,title,xText,yText,seriesName,seriesData){
2012-10-19 14:01:57
1241
转载 HighCharts中文帮助文档
近期项目中需要做报表，考虑使用HighCharts。Highcharts中文帮助文档 文档主要翻译常用的选项配置，如果想看详细配置请看官网API:http://api.highcharts.com/highcharts部分内容来源于网络，感谢月光光整理http://www.helloweba.com/view-blog-156.html Chart图标区选项Char
2012-10-19 13:55:05
6421
转载 使用Java开发需要关注的那些事儿
转自 http://www.javabloger.com/article/java-development-concern-those-things.html近期各家IT媒体举办的业内技术大会让很多网站都在披露自己的技术内幕与同行们分享，大到facebook，百度，小到刚起步的网站。facebook，百度之类的大型网站采用的技术和超凡的处理能力的确给人耳目一新的感觉，但并不是每个网站都是像fa
2012-08-29 14:21:32
960
转载 Java多线程 阻塞队列和并发集合
Java多线程 阻塞队列和并发集合 本章主要探讨在多线程程序中与集合相关的内容。在多线程程序中，如果使用普通集合往往会造成数据错误，甚至造成程序崩溃。Java为多线程专门提供了特有的线程安全的集合类，通过下面的学习，您需要掌握这些集合的特点是什么，底层实现如何、在何时使用等问题。3.1 BlockingQueue接口java阻塞队列应用于生产者消费者模式、消息传
2012-08-29 11:56:36
957
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人