大数据
文章平均质量分 51
da cong ming
这个用户没有简介
展开
-
Storm工程发布启动错误_log4j冲突错误
Storm工程中,使用Apache-kafka。之前使用kafka 0.8.2.1版本没有问题。更换为kafka 0.9.0.1之后,发现工程启动出现错误了。Detected both log4j-over-flg4j.jar AND slf4j-log4j12.jar on the class path............解决方案:pom.xml配置文件中 做修改即可。o原创 2016-11-17 14:01:21 · 891 阅读 · 0 评论 -
Storm的Stream分组方式
Storm有7种内置的分组方式,也可以通过实现CustomStreamGrouping接口来定义自己的分组。(1)Shuffle分组:Task中的数据随机分配,可以保证同一级Bolt上的每个Task处理的Tuple数量一致。(2)Fields分组: 根据Tuple中的某一个Filed或者多个Filed的值来划分。比如Stream根据user-id的值来分组,具有相同的user-id值的T原创 2016-11-24 10:23:12 · 3205 阅读 · 0 评论 -
Storm性能优化
如何找到Topology的性能瓶颈?性能优化的第一步就是找到瓶颈在哪里,从瓶颈处入手,解决关键点问题,事半功倍。除了通过系统命令原创 2016-11-28 15:40:19 · 5169 阅读 · 0 评论 -
Storm基本体系架构
Apache Storm 是由Twitter开源的分布式实时计算系统。Storm可以非常容易并且可靠的处理无限的数据流。对比Hadoop的批处理,Storm是一个实时的、分布式的、具备高容错的计算系统。Storm应用可以使用不同的编程语言来进行开发。转载 2016-11-23 17:39:03 · 5005 阅读 · 4 评论 -
Mac系统 本机搭建Kafka+zookeeper
Mac系统 本机搭建Kafka+zookeeper1、zookeeper 安装本次使用的是zookeeper-3.4.10(百度搜索下载即可)将conf路径下zoo_sample.cfg修改为zoo.cfg增加如下配置(Windows环境下,亲测,如下配置,启动服务会自动在zookeeper所在路径盘符下创建logs路径。当然直接写绝对路径也可以)dataDir=/kafka_原创 2018-01-08 14:51:12 · 1917 阅读 · 0 评论 -
Kafka基本架构
Kafka是一个设计独特的消息系统。相比于一般的消息队列,Kafka提供了一些独特的特性,非常高的吞吐能力,以及强大的扩展性。Kafka的基本术语以及概念·Broker:任何正在运行中的Kafka示例都成为Broker。·Topic:Topic其实就是一个传统意义的消息队列。·Partition:即分区。一个Topic将有多个分区组成,每个分区将存在独立的持久化文件,任何一个Con转载 2016-11-24 11:44:16 · 2930 阅读 · 0 评论