数据仓库与并行计算
数据仓库与并行计算
沉浮一湘蕉
心若沉浮,浅笑安然。
展开
-
kafka学习笔记--常用指令
常用指令://新建虚拟窗口 kafka,在每台上执行$ screen -S kafka// 退出虚拟窗口 kafka,在每台上执行 $ Ctrl+A+D1.// 创建 topic$ kafka-topics.sh --create --zookeeper cluster1:2181,cluster2:2181,cluster3:2181 --replication-factor...原创 2020-04-19 11:45:41 · 301 阅读 · 0 评论 -
hadoop启动中缺少datanode
// 启动 journalnode(在所有 datanode 上执行,也就是 cluster1, cluster2, cluster3)$ hadoop-daemon.sh start journalnode 启动后使用 jps 命令可以看到 JournalNode 进程// 格式化 HDFS(在 cluster1 上执行)$ hdfs namenode -format// 格式化完毕后可关闭 journalnode(在所有 datanode 上执行)$ hadoop-daemon.sh原创 2020-05-17 11:16:10 · 1268 阅读 · 0 评论 -
打开及关闭kafka
在$KAFKA_HOME/bin下新建如下脚本文件start-kafka.sh #!/bin/bash BROKERS="cluster1 cluster2 cluster3" APPHOME="/usr/local/kafka_2.10-0.8.2.1" APP_NAME="kafka_2.10-0.8.2.1" for i in $BROKERS...原创 2020-04-18 23:19:19 · 5095 阅读 · 0 评论 -
kafka关闭失败总结
1.Linux 查看进程的PID编号的指令:查看nginx进程的PID编号,ps -ef | grep nginx,即可返回进程的PID和PPID编号。2.kill -9 PPID编号即可强制关闭。3.一般情况下hadoop,hbase,storm等进程都是通过jps查看,有些时候因为进程没有被正常结束,比如资源占用过大时挂掉或者没有结束进程就直接重启计算机,会导致原有进程变为-- p...原创 2020-04-18 22:50:04 · 509 阅读 · 1 评论