![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
韩利鹏
大数据处理-java高级工程师
展开
-
kafka的安装
集群安装 1、解压 2、修改server.properties#不同的节点只需要修改id后面的数字就好了broker.id=1#这里是zookeeper集群的地址zookeeper.connect=master:2181,slave1:2181,slave2:21813、将zookeeper集群启动4、在每一台节点上启动brokerbin/kafka-server-start.sh con原创 2016-11-24 21:26:13 · 589 阅读 · 1 评论 -
kafka的数据发送和接收java_API
往消息队列里面发送数据import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.io.IOException;import java.util.Properties;import scala.math.Num原创 2016-11-24 21:51:56 · 15175 阅读 · 2 评论 -
flume_kafka联合使用
在大数据的使用中常常将flume和kafka联合起来使用,实用的时候主要是一个配置的文件信息 配置文件信息如下#agent sectionproducer.sources = sproducer.channels = cproducer.sinks = r#source section#producer.sources.s.type = seqproducer.sources.s.typ原创 2016-11-24 22:22:12 · 1321 阅读 · 0 评论 -
spark与kafka连接测试
测试环境:scala版本为2.11.8,jdk版本为java1.7.79 搭建的工程为maven工程,所需要的依赖有:<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>2原创 2016-12-15 20:14:39 · 1876 阅读 · 0 评论