kafka
是谁注册了我的2052
给我2052
展开
-
kafka压力测试以及机器数量计算公式
一:压力测试1.自带测试脚本路径在kafka安装目录的bin目录下/export/servers/kafka_2.11-0.10.0.0/bin2.生产能力测试命令bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000 --prod...原创 2019-12-15 10:40:34 · 1275 阅读 · 1 评论 -
SparkStreaming实时消费Kafka数据
一:编程前参考地址Spark官网: 关于kafka的依赖和kafka的配置http://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-integration.html二:官网案例参考依赖groupId = org.apache.sparkartifactId = spark-streaming-kafka-0-10_2.11ver...原创 2019-10-14 21:04:11 · 400 阅读 · 0 评论 -
Kafka安装和操作命令
一:kafka的安装前提:安装前需要确认zookeeper集群是否安装ok,因为kafka需要依赖于zookeeper进行集群的管理另外jdk环境也是必备的1.下载:http://archive.apache.org/dist/kafka/2.上传服务器和解压缩上传: 使用 rz -E 命令上传解压: jar -zxvf … 命令3.确定集群节点的部署4.安装解压后需要修改配置...原创 2019-09-07 11:02:36 · 115 阅读 · 0 评论 -
Kafka的JavaAPI
概括;介绍Producer生产者 / Consumer消费者(手动和自动提交) / StreamsAPI一:创建生产者原创 2019-09-07 14:22:33 · 137 阅读 · 0 评论 -
Kafka的原理介绍
一:生产者生产者就是提供消息的来源,是线程安全的.三个存在的必然条件:1.主机和端口:代表数据的来源2.序列化数据:网络IO的需要3.消息Topic:代表消息的主题分发策略(4种)分发策略:决定着生产者生产的消息会写入到哪个partition(分片)中1.第一种分发策略:指定具体partitionpublic ProducerRecord(String topic, Integ...原创 2019-09-09 00:26:06 · 189 阅读 · 0 评论