kafka
是谁注册了我的2052
给我2052
展开
-
kafka压力测试以及机器数量计算公式
一:压力测试 1.自带测试脚本路径 在kafka安装目录的bin目录下 /export/servers/kafka_2.11-0.10.0.0/bin 2.生产能力测试命令 bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000 --prod...原创 2019-12-15 10:40:34 · 1275 阅读 · 1 评论 -
SparkStreaming实时消费Kafka数据
一:编程前参考地址 Spark官网: 关于kafka的依赖和kafka的配置 http://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-integration.html 二:官网案例参考 依赖 groupId = org.apache.spark artifactId = spark-streaming-kafka-0-10_2.11 ver...原创 2019-10-14 21:04:11 · 400 阅读 · 0 评论 -
Kafka安装和操作命令
一:kafka的安装 前提: 安装前需要确认zookeeper集群是否安装ok,因为kafka需要依赖于zookeeper进行集群的管理 另外jdk环境也是必备的 1.下载:http://archive.apache.org/dist/kafka/ 2.上传服务器和解压缩 上传: 使用 rz -E 命令上传 解压: jar -zxvf … 命令 3.确定集群节点的部署 4.安装 解压后需要修改配置...原创 2019-09-07 11:02:36 · 115 阅读 · 0 评论 -
Kafka的JavaAPI
概括; 介绍Producer生产者 / Consumer消费者(手动和自动提交) / StreamsAPI 一:创建生产者原创 2019-09-07 14:22:33 · 137 阅读 · 0 评论 -
Kafka的原理介绍
一:生产者 生产者就是提供消息的来源,是线程安全的. 三个存在的必然条件: 1.主机和端口:代表数据的来源 2.序列化数据:网络IO的需要 3.消息Topic:代表消息的主题 分发策略(4种) 分发策略:决定着生产者生产的消息会写入到哪个partition(分片)中 1.第一种分发策略: 指定具体partition public ProducerRecord(String topic, Integ...原创 2019-09-09 00:26:06 · 189 阅读 · 0 评论