黑猴子的家：kafka-producer.sh

最新推荐文章于 2023-08-15 16:20:19 发布
最新推荐文章于 2023-08-15 16:20:19 发布
阅读量1.1k 收藏
点赞数
文章标签： 大数据 hadoop linux java spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28652401/article/details/124492717
版权
这篇博客详细介绍了如何在Hadoop环境中设置kafka-producer.sh文件的权限，包括使用sudo执行touch、chown和chmod操作，以及编辑脚本内容以指定Kafka路径和broker列表。重点在于演示如何正确配置Kafka生产者工具以连接到多个节点。
摘要由CSDN通过智能技术生成 
[alex@hadoop102 ~]$ cd /usr/local/bin/
[alex@hadoop102 bin]$ sudo touch kafka-producer.sh
[alex@hadoop102 bin]$ sudo chown alex:alex kafka-producer.sh
[alex@hadoop102 bin]$ chmod 755 kafka-producer.sh
[alex@hadoop102 bin]$ vim kafka-producer.sh
#!/bin/bash
kafka_home=/opt/module/kafka_2.11-0.11.0.2
$kafka_home/bin/kafka-console-producer.sh --broker-list hadoop102:9092,hadoop103:9092,hadoop104:9092 --topic $1
黑猴子的家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
deepstream：kafka启动失败，zookeeper-server-start.sh:44 exec:./kafka-run-class:permission denied
pvmsmfchcs的博客
11-29 965
指令：sudo chmod -R 777 kafka_2.12-2.8.1。这个无法启动的报错是由于权限的问题，我们需要给文件夹付权限。是要给kafka_2.12-2.8.1这个。权限一直在，不换内存条就在。
【Kafka】kafka 脚本kafka-configs.sh用法解析
九师兄
09-17 4599
1.概述 引用博客来自李志涛：https://www.cnblogs.com/lizherui/p/12275193.html 2.前言介绍 网络上针对脚本kafka-configs.sh用法，也有一些各种文章，但都不系统不全面，介绍的内容是有缺失的，总让人看起来很懂，用起来难，例如：动态配置内部关系不清晰、有些重点配置参数主从同步配额限流也没有解释清楚，除非去看代码。所以我希望读者通过深入阅读此文，更便捷利用此脚本解决实际运维和开发中遇到的问题，同时也为大家节省学习时间。 3.脚本语法解析 kafka-.
Kafka常用命令之kafka-console-producer.sh
热门推荐
Ernest
05-04 4万+
kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式，在控制台生产消息的脚本。 本文是基于 Kafka_2.12-2.5.0 版本编写的，--bootstrap-server 参数于此版本开始被使用，而 --broker-list 也是在此版本开始被置为过时，但其属性值依旧保持不变。在使用较旧版本时，注意...
kafka使用kafka-console-consumer.sh和kafka-console-producer.sh生产消费数据样例
u011250186的博客
08-15 889
kafka使用kafka-console-consumer.sh和kafka-console-producer.sh生产消费数据样例
kafka的Produce生产者(四)
华小灼
03-22 2209
  Producer 对应的脚本是 kafka-console-producer.sh，直接运行同样的会显示相关的参数 参数 描述 –bootstrap-server <String: server to connect to> 连接的Kafka broker 主机名称和端口 –topic <String: topic> 操作的topic名称 –batch-size <Integer: size> 消息在单机中批量发送的数量如果它们没有同步发送，默
Kafka安装及命令使用教程
qq_35515283的博客
11-30 441
kafka安装步骤及kafka发送、接收消息linux命令
kafka学习笔记
阿坨的博客
09-29 879
kafka安装 环境要求：需要安装zookeeper、java1.7以上。 下载kafka 注意：到Kafka官网下载安装文件时，一定要选择和自己电脑上已经安装的scala版本号一致才可以。本笔记安装的scala版本号是2.11.16，所以，一定要选择Kafka版本号是2.11开头的。比如，到Kafka官网中，可以下载安装文件Kafka_2.11-2.2.1，前面的2.11就是支持的scala版本号，后面的2.2.1是Kafka自身的版本号。 解压安装包 sudo tar -zxvf kafka_2.11-
pentaho-kafka-producer.zip
03-16
2. **解压插件**：下载`pentaho-kafka-producer.zip`文件后，使用解压缩工具将其解压。这将包含插件的各类文件，如Java类、配置文件等。 3. **复制到steps文件夹**：将解压后的所有文件和文件夹复制到`安装目录>/...
kafka-2.12-3.6.1.tgz
12-19
/usr/local/kafka_2.12-3.6.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic ``` 然后在命令行中输入消息，每按一次回车就发送一条消息。 八、消费消息 同时，可以在另一个终端...
kafka-manager-1.3.3.7.zip
12-05
说明：kafka-manager 自己下载编译速度巨慢，此资源是编译好的 kafka-manager，版本是：kafka-manager-1.3.3.7（适用于较新的版本，kafka版本是kafka_2.11-2.0.1）。 安装配置说明： 1. 里头有个自己写的启动脚本，...
Kafka 命令行操作
逆流者的博客
02-19 1830
kafka-topics.sh 脚本使用参数列表： [vagrant@localhost kafka_2.12-3.0.0]$ bin/kafka-topics.sh Create, delete, describe, or change a topic. Option Description ------ -----
kafka学习总结三
慕容的博客
07-27 663
2)生产者kafka-console-producer.sh。3)消费者kafka-console-consumer.sh。发布订阅分为多种类型，订阅者根据需求，选择性订阅。6.生产者和消费者只针对leader操作。（2）消费者组（某个分区，只能由一个消费者消费）2.topic主题对数据分类。1）主题kafka-topic.sh。外部共享，hadoop和kafka共享zk。分布式发布订阅，消息队列。3.消费者和生产者相互独立。流平台（存储，计算）（1）消费者和消费者相互独立。...
kafka再浅析
ldcaws的专栏
12-27 674
通常可以使用kafka-console-consumer.sh和kafka-console-producer.sh脚本来测试 Kafka 生产和消费，kafka-consumer-groups.sh可以查看和管理集群中的 Topic，kafka-topics.sh通常用于查看 Kafka 的消费组情况。Kafka 有消费组的概念，每个消费者只能消费所分配到的分区的消息，每一个分区只能被一个消费组中的一个消费者所消费，所以同一个消费组中消费者的数量如果超过了分区的数量，将会出现有些消费者分配不到消费的分区。
Kafka consumer 与 producer测试
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 820
本实验任务主要完成基于ubuntu环境掌握Kafka consumer 与 producer测试的工作。通过完成本实验任务，要求学生熟练掌握Kafka consumer 与 producer的使用，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Kafka consumer 与 producer测试Ubuntu(三台节点:mater：192.168.0.3,slave1：192.168.0.2,slave2：192.168.0.
Kafka学习笔记(2) - Kafka 常用命令行操作总结
兀坐晴窗独饮茶
11-26 296
总结说明 ???? 因为学习kafka的过程中经常会用到一些命令, 但是有时候kafka我也不经常使用,命令就有可能忘记, 这里记录下来, 以后忘了可以再查, 这里需要说明的是 因为我用的CDH版的 kafka, 所以版本比较低, 我用的是1.0 的版本, 这个版本好像是没法用bootstrap-server 的,这里记录说明下 1. 创建 topic # 特别注意 --前面要空一格 不然识别不出来...
Kafka集群的部署与简单使用演示
LegendHonor的博客
04-26 133
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单
9. kafka shell脚本用法详解
阿飞Javaer的专栏
07-14 1万+
kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下： 脚本名称 用途描述 connect-distributed.sh 连接kafka集群模式 connect-standalone.sh 连接kafka单机模式 kafka-acls.sh todo kafka-broker-api-versions.sh ...
kafka 脚本发送_（05）使用kafka脚本发送消息和接收消息
weixin_39634067的博客
12-22 160
kafka的bin目录下有很多脚本，其中kafka-console-producer.sh是生产者脚本、kafka-console-consumer.sh是消费者脚本，下面用这两个脚本进行模拟发送消息和接收消息。在前面的3篇中已经介绍了kafka的配置。按照步骤启动zookeeper和kafka。1、创建topicbin/kafka-topics.sh --create --zookeeper 1...
Kafka 0.10.1.0 Cluster的搭建和Topic简单操作
无名虫博客
01-09 774
1. 环境准备：   Linux 服务器 3个节点 2. 需要提前安装的软件    Zookeeper 3.4.6    JDK 1.7 +    Scala 2.11+ # 1. zookeeper 3.4.6 [hadoop@hdp001 zookeeper-3.4.6]$ bin/zkServer.sh status Using config: /home/hadoo...
in/kafka-topics.sh --zookeeper 192.168.10.12:2181 --list
最新发布
08-17
`kafka-topics.sh` 是Apache Kafka命令行工具，用于管理Kafka主题（topics）。当你运行 `kafka-topics.sh --zookeeper 192.168.10.12:2181 --list` 这个命令时，它会连接到指定的ZooKeeper服务器（在这个例子中是 `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值