kafka命令:
0.查看有哪些主题: ./kafka-topics.sh --list --zookeeper 192.168.0.201:2181
1.查看topic的详细信息
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1
2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute
3、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1
4、为topic增加partition
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1
5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1
6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1
7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties
8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 shutdown broker
9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1
10、查看consumer组内消费的offset
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
./kafka-consumer-offset-checker.sh --zookeeper 192.168.0.201:12181 --group group1 --topic group1
zookeeper命令:
1. 启动ZK服务: bin/zkServer.sh start
2. 查看ZK服务状态: bin/zkServer.sh status
3. 停止ZK服务: bin/zkServer.sh stop
4. 重启ZK服务: bin/zkServer.sh restart
5. 连接服务器: zkCli.sh -server 127.0.0.1:2181
zookeeper客户端命令:
1.ls -- 查看某个目录包含的所有文件,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /
2.ls2 -- 查看某个目录包含的所有文件,与ls不同的是它查看到time、version等信息,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] ls2 /
3.create -- 创建znode,并设置初始内容,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] create /test "test"
Created /test
4.get -- 获取znode的数据,如下:
[zk: 127.0.0.1:2181(CONNECTED) 1] get /test
5.set -- 修改znode内容,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] set /test "ricky"
6.delete -- 删除znode,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] delete /test
7.quit -- 退出客户端
8.help -- 帮助命令
storm命令:
后台启动: bin/storm nimbus >/dev/null 2>&1 &
1.提交topology任务命令
storm jar xxx.jar com.daqsoft.TestMain testTopology
2.杀死topology任务
storm kill topology-name [-w wait-time-secs] -w 等待多少秒后杀死
3.启动nimbus守护进程
storm nimbus
4.启动supervisor守护进程
storm supervisor
5.启动ui守护进程
storm ui
6.启动drpc守护进程
storm drpc
7.提供一个Web接口查看Storm日志文件,在storm ui上就可以观看
storm logviewer
8.列出正在运行的拓扑及其状态
storm list
9.激活指定的topology的spout
storm activate topology-name
10.storm版本输出
storm version
关闭防火墙
查看状态
chkconfig --list iptables
永久关闭
chkconfig iptables off
Linux设置主机名和配置主机名跟IP地址映射
vi /etc/sysconfig/network
vi /etc/hosts
切换到root权限执行:hostname hadoop(使得名字里立即生效)
teamview 192.168.2.74虚拟机 账号 804 436 360 密码 5201314 登录 kafka
teamview 192.168.2.40虚拟机 账号 899 084 299 密码 5201314 登录 kafka
zookeeper常见错误:
Error contacting service. It is probably not running:检查配置文件中 两个文件路径是否正确,检查myid文件位置、内容是否正确;注意查看zookeeper安装目录中的 zookeeper.out日志文件内容。
特别是 如果是用主机名配置的情况,需要看主机名是否生效,不能用ping的方式,没有效果,需要执行一次,hostname hadoop命令,可以使配置文件生效。
kafka启动错误:
如果启动不起来,可能原因是 logs下面的东西需要删除,但是慎重,因为这个是数据。
0.查看有哪些主题: ./kafka-topics.sh --list --zookeeper 192.168.0.201:2181
1.查看topic的详细信息
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1
2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute
3、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1
4、为topic增加partition
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1
5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1
6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1
7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties
8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 shutdown broker
9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1
10、查看consumer组内消费的offset
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
./kafka-consumer-offset-checker.sh --zookeeper 192.168.0.201:12181 --group group1 --topic group1
zookeeper命令:
1. 启动ZK服务: bin/zkServer.sh start
2. 查看ZK服务状态: bin/zkServer.sh status
3. 停止ZK服务: bin/zkServer.sh stop
4. 重启ZK服务: bin/zkServer.sh restart
5. 连接服务器: zkCli.sh -server 127.0.0.1:2181
zookeeper客户端命令:
1.ls -- 查看某个目录包含的所有文件,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /
2.ls2 -- 查看某个目录包含的所有文件,与ls不同的是它查看到time、version等信息,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] ls2 /
3.create -- 创建znode,并设置初始内容,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] create /test "test"
Created /test
4.get -- 获取znode的数据,如下:
[zk: 127.0.0.1:2181(CONNECTED) 1] get /test
5.set -- 修改znode内容,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] set /test "ricky"
6.delete -- 删除znode,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] delete /test
7.quit -- 退出客户端
8.help -- 帮助命令
storm命令:
后台启动: bin/storm nimbus >/dev/null 2>&1 &
1.提交topology任务命令
storm jar xxx.jar com.daqsoft.TestMain testTopology
2.杀死topology任务
storm kill topology-name [-w wait-time-secs] -w 等待多少秒后杀死
3.启动nimbus守护进程
storm nimbus
4.启动supervisor守护进程
storm supervisor
5.启动ui守护进程
storm ui
6.启动drpc守护进程
storm drpc
7.提供一个Web接口查看Storm日志文件,在storm ui上就可以观看
storm logviewer
8.列出正在运行的拓扑及其状态
storm list
9.激活指定的topology的spout
storm activate topology-name
10.storm版本输出
storm version
关闭防火墙
查看状态
chkconfig --list iptables
永久关闭
chkconfig iptables off
Linux设置主机名和配置主机名跟IP地址映射
vi /etc/sysconfig/network
vi /etc/hosts
切换到root权限执行:hostname hadoop(使得名字里立即生效)
teamview 192.168.2.74虚拟机 账号 804 436 360 密码 5201314 登录 kafka
teamview 192.168.2.40虚拟机 账号 899 084 299 密码 5201314 登录 kafka
zookeeper常见错误:
Error contacting service. It is probably not running:检查配置文件中 两个文件路径是否正确,检查myid文件位置、内容是否正确;注意查看zookeeper安装目录中的 zookeeper.out日志文件内容。
特别是 如果是用主机名配置的情况,需要看主机名是否生效,不能用ping的方式,没有效果,需要执行一次,hostname hadoop命令,可以使配置文件生效。
kafka启动错误:
如果启动不起来,可能原因是 logs下面的东西需要删除,但是慎重,因为这个是数据。