kafka
_bukesiyi
这个作者很懒,什么都没留下…
展开
-
kafka实战
(单节点+单broker)启动kafka!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!kafka是要先启动的!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!kafka-server-start.sh config/server.properties创建一个名为hellotopic的topickafka-topics.sh --c...原创 2018-04-19 10:27:06 · 166 阅读 · 0 评论 -
整合Flume和Kafka的综合使用
配置avro-memory-kafka#me the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = avroa1.sources.r1.bind = hadoop02a1.sources.r1.port =...原创 2018-04-19 16:02:16 · 290 阅读 · 0 评论 -
再探kafka+flume实战
命令启动zookeeper启动两台机器上的kafakanohup kafka-server-start.sh $KAFKA_HOME/config/server.properties &启动kafka的消费端kafka-console-consumer.sh --zookeeper hadoop01:2181 --topic test启动flume端(kafka是两个机器都要启动,flu...原创 2018-05-10 13:01:10 · 463 阅读 · 0 评论 -
storm+kafka的实战
分为本地模式如果是本地的话可以直接将代码运行起来如果是在集群上跑的话,最好将打了包的jar传上来,这样可以防止一些没有的jar包上面本身就有。需要注意的是 provide是将包不打进来 compile是默认的打包方式,是将包都打进来storm jar wxaStormwordcount-1.0.jar cn.itcast.storm.kafkaAndStor...原创 2018-05-10 17:36:19 · 681 阅读 · 0 评论 -
再探kafka之一
启动kafka!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!kafka是要先启动的!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!下面是server.properties的配置文件 server.properties的配置文件#broker的全局唯一编号,不能重复broker.id=0#用来监听链接的端口,produce...原创 2018-05-06 21:04:17 · 105 阅读 · 0 评论 -
再探kafka之二!!(重要!!)
启动kafka!!!!!!!!!!(通过kafka-server-start.sh $KAFKA_HOME/config/server.properties启动)kafka是要先启动的!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(重要的事情说三遍)telnet不通9092不一定是开不开放端口的问题有可能是端口上的程序没有启动的原因,只有先启动了程序才能判断这个端口是...原创 2018-05-07 16:38:54 · 562 阅读 · 0 评论 -
kafka java api
kafka java api生产者package com.wxa.storm.kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;import ja...原创 2018-05-07 16:43:56 · 469 阅读 · 0 评论 -
kafka 和storm Java api编程中 pom文件范例
要注意的是运行的时候可能会遇到日志文件jar包重复的情况,这里要用到<exclusions>排除如下 <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifact...原创 2018-05-07 17:03:56 · 804 阅读 · 0 评论 -
spark streaming 学习(和flume结合+和kafka 的结合)
spark streaming 是实时计算spark core 之类的涉及到rdd的是离线计算所以说spark即是实时计算,又有离线计算spark streaming 的第一个例子利用 nc -lk 8888 在192.168.235.128的8888端口开启一个输入消息的应用在IDEA上建立一个spark streaming的程序package com.wxa.spark.fourimpor...原创 2018-05-27 14:56:15 · 1089 阅读 · 0 评论