数据仓库与并行计算
数据仓库与并行计算
沉浮一湘蕉
心若沉浮,浅笑安然。
展开
-
kafka学习笔记--常用指令
常用指令: //新建虚拟窗口 kafka,在每台上执行 $ screen -S kafka // 退出虚拟窗口 kafka,在每台上执行 $ Ctrl+A+D 1.// 创建 topic $ kafka-topics.sh --create --zookeeper cluster1:2181,cluster2:2181,cluster3:2181 --replication-factor...原创 2020-04-19 11:45:41 · 319 阅读 · 0 评论 -
hadoop启动中缺少datanode
// 启动 journalnode(在所有 datanode 上执行,也就是 cluster1, cluster2, cluster3) $ hadoop-daemon.sh start journalnode 启动后使用 jps 命令可以看到 JournalNode 进程 // 格式化 HDFS(在 cluster1 上执行) $ hdfs namenode -format // 格式化完毕后可关闭 journalnode(在所有 datanode 上执行) $ hadoop-daemon.sh原创 2020-05-17 11:16:10 · 1314 阅读 · 0 评论 -
打开及关闭kafka
在$KAFKA_HOME/bin下新建如下脚本文件 start-kafka.sh #!/bin/bash BROKERS="cluster1 cluster2 cluster3" APPHOME="/usr/local/kafka_2.10-0.8.2.1" APP_NAME="kafka_2.10-0.8.2.1" for i in $BROKERS...原创 2020-04-18 23:19:19 · 5199 阅读 · 0 评论 -
kafka关闭失败总结
1.Linux 查看进程的PID编号的指令: 查看nginx进程的PID编号,ps -ef | grep nginx,即可返回进程的PID和PPID编号。 2.kill -9 PPID编号即可强制关闭。 3.一般情况下hadoop,hbase,storm等进程都是通过jps查看,有些时候因为进程没有被正常结束,比如资源占用过大时挂掉或者没有结束进程就直接重启计算机,会导致原有进程变为-- p...原创 2020-04-18 22:50:04 · 568 阅读 · 1 评论