Hadoop集群软件启动命令
1.集群规划
| hostname/ip | Hdfs | Yarn | Zk | Mysql | Hive | Sqoop | Flume | Az | Oozie | Hue |
|---|---|---|---|---|---|---|---|---|---|---|
| node01:192.168.204.138 | nn/2nn | rm1 | zk1 | hive | sqoop | flume | solo/exec | oozie | hue | |
| node02:192.168.204.139 | dn1 | nm1 | zk2 | sqoop | flume | exec/web | ||||
| node03:192.168.204.137 | dn2 | nm2 | zk3 | mysql | hive | sqoop | flume |
2.Hadoop启动和关闭命令
#启动命令
start-all.sh
#关闭命令
stop-all.sh
3.JobHistory启动和关闭命令
#启动命令
mr-jobhistory-daemon.sh start historyserver
#关闭命令
mr-jobhistory-daemon.sh stop historyserver
4.Zookeeper启动和关闭命令
#启动命令
zkServer.sh start
#查看状态
zkServer.sh status
#关闭命令
zkServer.sh stop
# zkui可视化工具启动命令
cd /data/zkui && nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &
# 查看进程
netstat -tunpl | grep :9090
5.Hive启动命令和关闭命令
#hivemetastore服务后台启动命令
nohup hive --service metastore &
nohup hive --service metastore 2>&1 >> /var/log.log &
#关闭命令
jps -m # 找到Hiveserver2运行的进程号
kill -9 17303 # 使用kill -9 进程号 关闭相应的服务
#hiveserver2服务后台启动命令
nohup hiveserver2 &
----------------------------
beeline
!connect jdbc:hive2://node03:10000
!connect jdbc:hive2://172.26.168.65:10000 # ECS_test2 机器
root
123456
---------------------------
#关闭命令
jps -m # 找到Hiveserver2运行的进程号
kill -9 17303 # 使用kill -9 进程号 关闭相应的服务
6.Azkaban solo-server 模式启动和关闭命令
注:solo-server模式在node01机器上面
#注:启动/关闭必须进到 azkaban-solo-server-0.1.0-SNAPSHOT/目录下
#启动命令
cd /export/servers/azkaban-solo-server
bin/start-solo.sh
# solo-server 模式 web端口为 http://node01:8081/
#关闭命令
cd /export/servers/azkaban-solo-server
bin/shutdown-solo.sh
7.Azkaban two-server 模式启动和关闭命令
注:two-server模式在node02机器上面
#注:启动/关闭必须进到 azkaban-exec-server/目录下
# 需要先启动exec-server,然后在手动激活exector,再启动web-server
#azkaban-exec-server启动命令
cd /export/servers/azkaban/azkaban-exec-server
bin/start-exec.sh
#手动激活 executor
curl -G "node02:$(<./executor.port)/executor?action=activate" && echo
#azkaban-web-server启动命令
cd /export/servers/azkaban/azkaban-web-server
bin/start-web.sh
# two-server 模式 web端口为 https://node01:8443/
--------------------------------------------------
#azkaban-exec-server关闭命令
cd /export/servers/azkaban/azkaban-exec-server
bin/shutdown-exec.sh
#azkaban-web-server关闭命令
cd /export/servers/azkaban/azkaban-web-server
bin/shutdown-web.sh
8.Oozie启动和关闭命令
#启动命令
oozied.sh start
#关闭命令 注: 尽量不要使用kill方式关闭进程
oozied.sh stop
9.Hue启动和关闭命令
#注:需要先从root用户下转换到用户hliushi下
su hliushi
#启动命令
supervisor
--------------------------
#页面访问 hue
http://node01:8888
#关闭命令
#在xshell按住ctrl+shift+c关闭进程即可
9.机器之间发送配置文件命令
scp /export/servers/hadoop-2.7.7/etc/hadoop/core-site.xml node02:/export/servers/hadoop-2.7.7/etc/hadoop/
scp /export/servers/hadoop-2.7.7/etc/hadoop/core-site.xml node03:/export/servers/hadoop-2.7.7/etc/hadoop/
10.Nginx启动和关闭命令
#注:nginx安装在node02机器上, 且没有配置环境变量
#启动命令
cd /usr/local/nginx
sbin/nginx -c conf/nginx.conf
----------------------------------
#查看nginx的运行转态
ps -ef | grep nginx
#关闭命令
sbin/nginx -s stop
11.Apache Server启动和关闭命令
#启动命令
service httpd start
#重启命令
service httpd restart
#关闭服务命令
service httpd stop
12.本地 yum 源信息
#本地yum源信息在 master主机上面
url : http://192.168.204.10/cdh5.14.0/
13.Redis启动和关闭命令
启动redis
# node01执行以下命令启动redis
cd /export/servers/redis-3.2.8/src
redis-server ../redis.conf
# 启动哨兵服务
cd /export/servers/redis-3.2.8
src/redis-sentinel sentinel.conf
# 查看redis的进程
ps -ef | grep redis
连接redis客户端
cd /export/servers/redis-3.2.8/src
redis-cli -h node01
关闭命令
# 输入auth 123456 即可登录进入客户端
node03:6379> auth 123456
# 执行如下命令即可正常断开redis连接
node03:6379> shutdown # 关闭server服务
not connected> quit
14.Hbase启动和关闭命令
注意事项：Hbase强依赖于HDFS以及zookeeper，所以安装Hbase之前一定要保证Hadoop和zookeeper正常启动
# HBase集群启动命令 -- node01为Hbase master节点 node02为Hbase master backup 备份
start-hbase.sh
# 关闭集群命令
stop-hbase.sh
# 浏览器页面访问
# http://node01:16010/master-status
---------------------------
# 单节点启动方式命令
# 启动HMaster命令
hbase-daemon.sh start master
# 启动HRegionServer命令
hbase-daemon.sh start regionserver
---------------------------
# hbase的thrift server服务启动命令 启动hue之前要启动这个服务
hbase-daemon.sh start thrift
# 关闭服务命令
hbase-daemon.sh stop thrift
进入HBase客户端命令操作界面
[root@node01 export]# hbase shell
hbase(main):001:0>
# 集群关闭命令
stop-hbase.sh
15.Kafka启动和关闭命令
注意事项：在kafka启动前，一定要让zookeeper启动起来。
# 可以选择先进入kafka的安装目录, 只是把这个nohup.out输出到当前路径下而已
cd /export/servers/kafka_2.11-0.10.0.0
nohup kafka-server-start.sh config/server.properties 2>&1 &
# 启动命令-后台启动
nohup kafka-server-start.sh /export/servers/kafka_2.11-0.10.0.0/config/server.properties 2>&1 &
# 停止命令
kafka-server-stop.sh
16.Kafka-eagle启动和关闭命令
# 启动命令 安装在node01 机器上
ke.sh start
----------------------
# web端口访问
http://node01:8048/ke
# 账号: admin 密码 : 123456
# 启动
ke.sh start
# 查看状态
ke.sh status
# 关闭
ke.sh stop
# 重启
ke.sh restart
17.Spark启动和关闭命令
注意下:Spark并没有配置环境变量, 个人觉得有一个命令和hadoop命令一样了,启动同样的命令有问题
# 启动 Spark Master 和 Slaves, 以及 HistoryServer -- Spark Master在node01
# 注意由于spark集群配置了高可用, 是基于Zookeeper搭建起来的高可用
# 并且修改了spark-env.sh 配置文件, 添加了Spark运行时参数, 从而指定Zookeeper的位置
# 所以确保启动高可用Spark之前, 一定先启动Zookeeper!!!
-------------------------------------------------------------
# Zookeeper启动命令 [三台机器都要启动]
zkServer.sh start
cd /export/servers/spark
sbin/start-all.sh
sbin/start-history-server.sh
# spark的web UI 端口
http://node01:8080/
# 关闭 Spark 和 HistoryServer
cd /export/servers/spark
sbin/stop-all.sh
sbin/stop-history-server.sh
# 启动 Spark shell
cd /export/servers/spark
bin/spark-shell --master local[2]
问题出现:Can only call getServletHandlers on a running MetricsSystem
原因: spark 集群的 worker 都挂掉了, 挂掉的原因是没有启动Zookeeper, 高可用的Spark集群是基于Zookeeper搭建起来的, 启动高可用的Spark的需要指定Zookeeper的位置, 如果不提前开启来zookeeper,那样Spark集群的 worker都会挂掉
解决方式
记得启动之前开启Zookeeper!!!, 不然worker还是会挂掉
18.CDH版本Hadoop服务启动命令
| 服务 | 命令 |
|---|---|
httpd | service httpd start |
Zookeeper | service zookeeper-server start |
hdfs-namenode | service hadoop-hdfs-namenode start |
hdfs-datanode | service hadoop-hdfs-datanode start |
hdfs-secondarynamenode | service hadoop-hdfs-secondarynamenode start |
yarn-resourcemanager | service hadoop-yarn-resourcemanager start |
mapreduce-historyserver | service hadoop-mapreduce-historyserver start |
yarn-nodemanager | service hadoop-yarn-nodemanager start |
hive-metastore | service hive-metastore start |
hive-server2 | service hive-server2 start |
kudu-master | service kudu-master start |
kudu-tserver | service kudu-tserver start |
impala-state-store | service impala-state-store start |
impala-catalog | service impala-catalog start |
impala-server | service impala-server start |
hue | service hue start |
ntp | service ntpd start ntpstat |
19.centos6与centos7服务开启关闭命令对比
| 指令名称 | centos 6 | centos 7 |
|---|---|---|
启动服务 | service httpd start | systemctl start httpd.service |
关闭服务 | service httpd stop | systemctl stop httpd.service |
重启服务 | service httpd restart | systemctl restart httpd.service |
查看服务状态 | service httpd status | systemctl status httpd.service |
设置服务开机启动 | chkconfig httpd on | systemctl enable httpd.service |
设置服务开机关闭 | chkconfig httpd off | systemctl disable httpd.service |
查看服务开机启动 | chkconfig –list | systemctl list-units –type=service |
20.Flink启动和关闭命令
# 注意由于spark集群配置了高可用, 是基于Zookeeper搭建起来的高可用
# 所以确保启动高可用Spark之前, 一定先启动Zookeeper!!!
# Zookeeper启动命令 [三台机器都要启动]
zkServer.sh start
# 启动和关闭Flink集群
start-cluster.sh
stop-cluster.sh
# flink的web UI 端口
http://node01:8081/
21.RocketMQ启动和关闭命令
多Master多Slave模式服务启动和关闭 [没有自动创建topic]
# 服务启动
# 1. 启动NameServe集群(分别在1,2号服务器启动)
cd /export/servers/rocketmq-4.6.0/bin
nohup sh mqnamesrv &
# 2. 启动Broker集群
# 一号服务器
# master1
nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-a.properties & autoCreateTopicEnable=true
# slave2
nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-b-s.properties & autoCreateTopicEnable=true
# 二号服务器
# master2
nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-b.properties & autoCreateTopicEnable=true
# slave1
nohup sh mqbroker -c /export/servers/rocketmq-4.6.0/conf/2m-2s-sync/broker-a-s.properties & autoCreateTopicEnable=true
# 注意问题: 在PowerShell窗口下执行maven命令 出错Unknown lifecycle phase “.test.skip=true”.
# 原因: 在PowerShell窗口下, 执行带参数的需要 '' 单引号包起来才可以
# 方式1
# 命令改为
mvn clean install package '-Dmaven.test.skip=true'
# 方式2
# 不要使用PowerShell命令行模式，使用 cmd 进入命令行执行
mvn clean install package -Dmaven.test.skip=true
# console启动命令 devp 端口在9900 cvm端口在9999
# 可以运行参数上更改运行端口和rocketMQ集群地址
# java -jar rocketmq-console-ng-2.0.0.jar --server.port=8080 --rocketmq.config.namesrvAddr=127.0.0.1:9876
java -jar dev-rocketmq-console-ng-2.0.0.jar
# 3. rocketmq服务关闭
# 关闭broker服务
sh mqshutdown broker
# 关闭namesrv服务：
sh mqshutdown namesrv
单机版启动和关闭命令
cd /export/servers/rocketmq-4.6.0/
### 启动 NameServer 服务和路由
# 启动命令，并且常驻内存，nohup 属于后台启动，当前目录下生成 nohup.out 日志文件，也可以指定日志输出位置。
# sh mqnamesrv ：属于终端启动，直接输出日志信息，按 ctrl+c 可直接关闭退出
nohup sh mqnamesrv &
# 查看启动日志，能看到 "The Name Server boot success" 字样则成功
tail -f ~/logs/rocketmqlogs/namesrv.log
### 启动 Broker 中间件
nohup sh mqbroker -c conf/broker.conf -n localhost:9876 &
# sh mqbroker -n localhost:9876 ：属于终端启动，直接输出日志信息，按 ctrl+c 可直接关闭退出
# 查看启动日志
tail -f ~/logs/rocketmqlogs/broker.log
### 关闭命令
# 先关闭 broker、在关闭 nameserv
sh mqshutdown broker
sh mqshutdown namesrv
# web可视化界面命令 端口9999
java -jar cvm-rocketmq-console-ng-2.0.0.jar --rocketmq.config.namesrvAddr=cvm-node02:9876
测试RocketMQ
cd /export/servers/rocketmq-4.6.0
# 发送消息
# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.使用安装包的Demo发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
# 接收消息
# 1.设置环境变量
export NAMESRV_ADDR=localhost:9876
# 2.接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
| 查看集群情况 | ./bin/mqadmin clusterList -n 127.0.0.1:9876 |
|---|---|
| 查看 broker 状态 | ./bin/mqadmin brokerStatus -n 127.0.0.1:9876 -b 172.20.1.138:10911 |
| 查看 topic 列表 | ./bin/mqadmin topicList -n 127.0.0.1:9876 |
| 查看 topic 状态 | ./bin/mqadmin topicStatus -n 127.0.0.1:9876 -t MyTopic (换成想查询的 topic) |
| 查看 topic 路由 | ./bin/mqadmin topicRoute -n 127.0.0.1:9876 -t MyTopic |
win10服务运行
# D:\develop\rocketmq-all-4.6.0-bin-release\bin
# 打开cmd
start mqnamesrv.cmd
start mqbroker.cmd -n 127.0.0.1:9876 autoCreateTopicEnable=true
21.WIN10中CMD随笔
########################################################
# cmd 命令随笔
# 输入 D: 可切换到 D盘路径下 同理,使用 F:切换到 F盘路径下
C:\Users\llhuang10>D:
D:\>
# dir命令显示当先目录, 等同于 Linux中的 ll或ls
D:\>dir
驱动器 D 中的卷没有标签。
卷的序列号是 60A3-D0C6
D:\ 的目录
2021/07/21 08:06 <DIR> book_study
2021/07/22 09:13 <DIR> code
2021/07/21 17:02 <DIR> develop
2021/07/22 15:51 <DIR> downloads
2021/07/22 10:03 <DIR> home
2021/07/22 15:53 <DIR> IdeaProjects
2021/07/21 19:13 <DIR> iflytek
2021/07/22 08:10 <DIR> Program Files
2021/07/21 16:52 <DIR> Program Files (x86)
2021/07/22 16:02 <DIR> tmp
2021/07/20 13:49 <DIR> WebstormProjects
2021/07/15 17:02 <DIR> workspace
0 个文件 0 字节
12 个目录 484,580,605,952 可用字节
D:\>
########################################################
22.集群之间免密登录
删除之前生成的公匙 (如果有)
rm ./id_rsa* # 删除之前生成的公匙（如果有）
远程登录自身，也需要配置免秘钥!!
[root@cvm-node01 .ssh]# cat ./id_rsa.pub >> ./authorized_keys
问题1
chmod: 更改’authorized_keys’ 的权限: 不允许的操作
原因
在linux系统下
有些配置文件是不允许被任何人（包括root）修改的
为了防止被误修改或删除
可以设定该文件的不可修改位：immutable
解决办法 ：chattr
# 防止关键文件被修改：
chattr +i authorized_keys
# 如果需要修改文件则：
chattr -i authorized_keys
问题2
sh: .ssh/authorized_keys: 权限不够
原因
修改修改.ssh目录的权限以及authorized_keys 的权限(这个必须修改，要不然还是需要密码)
解决办法
sudo chmod 644 ~/.ssh/authorized_keys
sudo chmod 700 ~/.ssh
23.RabbitMQ启动和关闭命令
docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p5672:5672 daocloud.io/library/rabbitmq:3.6.10-management
# 查看docker中的rabbitmq的运行状态
docker ps | grep rabbit
# 查看正在运行的容器
docker ps
# 删除指定容器
# docker rm 容器名称(或容器Id)
docker rm rabbit
24.Jenkins启动和关闭命令
# 启动
service jenkins start
# 重启
service jenkins restart
# 停止
service jenkins stop
# 访问地址
http://cvm-node02:12345/
421
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
