2015年06月_liuwei063608

12月 11月 09月 08月 07月 06月 05月 04月 03月

原创 lvs 负载均衡环境搭建

记录一下搭建lvs环境的步骤其中master 10.0.0.11，backup 10.0.0.15，realserver1 10.0.0.119，realserver210.0.0.111.mkdir /usr/local/src/lvs2.cd /usr/local/src/lvs3.上传keepalived-1.1.20.tar.gz ipvsadm-1.24.tar.gz

2015-06-09 22:32:40 818

原创 kafka分区原理图

一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader 跟进,同步消息即可。由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个part

2015-06-05 16:39:51 7400 1

原创 maven nexus linux私服搭建

搭建maven下载jar包，将apache-maven-3.2.2-bin.tar.gz上传到服务器1.解压 tar -zvxf apache-maven-3.2.2-bin.tar.gz 2.移动到指定目录 mv apache-maven-3.2.2 /usr/local3.修改环境变量 vi /etc/profileexport MAVEN_HOME=/usr/

2015-06-04 17:54:01 1492

原创 CDH集群集成kafka

搭建要求：1.CDH环境已经搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中搭建步骤1. 主机操作修改hosts10.10.0.11 s1-110.10.0.12 s1-2 10.10.0.13 s1-310.1

2015-06-03 23:19:25 8568

原创 kafka 效率优化

数据分区存储在topic内设置了多个分区，使kafka的消费者进程池能得到有序性保证和负载均衡，使得topic对应的消费组里的消费者们各自可以独享一个分区。如此的话，每个消费者是其消费的分区的唯一reader，在单个reader下当然保证了有序这件事。而且多个分区也使得负载可以比较平衡。具体流程：1. Producer根据指定的partition方法，将消息发布到指定topic的par

2015-06-02 22:59:58 5373

转载压缩算法的比较

压缩算法的比较以下是Google几年前发布的一组测试数据（数据有些老了，有人近期做过测试的话希望能共享出来）：Algorithm% remainingEncodingDecodingGZIP13.4%21 MB/s118 MB/sLZO20.5%135 MB/s410 MB/sZippy/Snappy2

2015-06-02 22:59:56 1111

转载 CDH优点

CDH为什么更好？笔者罗列了以下几点：CDH基于稳定版Apache Hadoop，并应用了最新Bug修复或者Feature的Patch。Cloudera常年坚持季度发行Update版本，年度发行Release版本，更新速度比Apache官方快，而且在实际使用过程中CDH表现无比稳定，并没有引入新的问题。Cloudera官方网站上安装、升级文档详细，省去Google时间。CDH支持Yum/A

2015-06-01 09:57:20 3847