2017年05月_liuxiangke0210

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Sed 删除匹配行，匹配的字符用Shell变量替换，且变量里含有斜杠“/”时，无法删除解决办法

原文链接： https://zhidao.baidu.com/question/2138070399877009148.html修改语法，用#代替”，这个只能用在sed的s替换命令中，如：s/A/B/可以写为s#A#B#但直接正则匹配 /正则/ 是不可以这样用#替代的。这里提供两个方法供参考：1）先用s命令将此要删除的路径替换为一个文件中不可能出现的唯一

2017-05-26 10:16:41 2909

原创 kafka总结

原文链接：http://dataguild.org/?p=7290Kafka提供的Pub/Sub就是典型的异步消息交换，用户可以为服务器日志或者物联网设备创建不同主题（Topic），之后数据可以源源不断地发送到各个主题，后端数据仓库、流式分析或者全文检索等对接特定主题，服务器或者物联网设备是无需关心的。同时，Kafka可以将主题划分为多个分区（Partition），会根据分区规

2017-05-09 14:31:21 528

转载 Kafka安装配置测试

原文链接：http://lxw1234.com/archives/2015/09/510.htmKafka的整体架构：本文中的配置：在两台机器Node1和Node2上，分别部署了两个broker，Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apach

2017-05-08 17:36:22 437

原创 kafka 自定义分区实例

第一步：使用./kafka-topics.sh 命令创建topic及partitions 分区数 bin/kafka-topics.sh --create --zookeeper 192.168.31.130:2181 --replication-factor 2 --partitions 3 --topic Topic-test第二步：实现org.apache.kafka.cli

2017-05-08 17:21:08 4538

转载 Kafka分区机制介绍与示例

原文链接：http://lxw1234.com/archives/2015/10/538.htmKafka中可以将Topic从物理上划分成一个或多个分区（Partition），每个分区在物理上对应一个文件夹，以”topicName_partitionIndex”的命名方式命名，该文件夹下存储这个分区的所有消息(.log)和索引文件(.index)，这使得Kafka的吞吐率可以水

2017-05-08 13:49:52 8228

转载 kafka数据可靠性深度解读

原文链接：http://www.7zhang.com/index/cms/read/id/310864.html摘录链接：http://www.jasongj.com/tags/Kafka/1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布

2017-05-06 14:57:21 424

转载 Kafka集群安装使用

原文链接： http://blog.csdn.net/z769184640/article/details/51585419Kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件ka

2017-05-02 17:18:54 255

转载 Flume中的拦截器（Interceptor）介绍与使用（二）

原文链接： http://lxw1234.com/archives/2015/11/545.htmFlume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有用，Flume-ng 1.6中目前提供了以下拦截器：

2017-05-02 13:34:36 2324

转载 Flume中的TaildirSource

原文链接：http://lxw1234.com/archives/2015/10/524.htm也可以参考官网地址：http://flume.apache.org/FlumeUserGuide.html （搜索 taildir）在通过Flume收集日志的业务场景中，一般都会遇到下面的情况，在日志收集服务器的某个目录下，会按照一段时间生成一个日志文件，并且日志会不断的追

2017-05-02 11:14:28 3102