Hive的一系列启动命令

一定是在hadoop用户下，而非root用户

[hadoop@node1 ~]$ jps
10402 Jps

Hadoop HDFS 分布式文件系统，我们会启动：
• NameNode 进程作为管理节点
• DataNode 进程作为工作节点
• SecondaryNamenode 作为辅助

$HADOOP_HOME/sbin/start-dfs.sh ，一键启动 HDFS 集群
执行原理：
• 在执行此脚本的机器上，启动 SecondaryNameNode
• 读取 core-site.xml内容（ fs.defaultFS 项），确认 NameNode所在机器，启动 NameNode
• 读取 workers 内容，确认 DataNode 所在机器，启动全部 DataNode

[hadoop@node1 ~]$ start-dfs.sh
Starting namenodes on [node1]
Starting datanodes
Starting secondary namenodes [node1]
[hadoop@node1 ~]$ jps
20105 SecondaryNameNode
19357 NameNode
19565 DataNode
25902 Jps

YARN 的架构有哪些角色
• 核心角色： ResourceManager 和 NodeManager
• 辅助角色： ProxyServer ，保障 WEB UI 访问的安全性
• 辅助角色： JobHistoryServer ，记录历史程序运行信息和日志

Hadoop YARN 分布式资源调度，会启动：
• ResourceManager 进程作为管理节点
• NodeManager 进程作为工作节点
• ProxyServer 、 JobHistoryServer 这两个辅助节点

MapReduce 运行在 YARN 容器内，无需启动独立进程

一键启动 YARN 集群： $HADOOP_HOME/sbin/start-yarn.sh
• 会基于 yarn-site.xml 中配置的 yarn.resourcemanager.hostname 来决定在哪台机器上启动 resourcemanager
• 会基于 workers 文件配置的主机启动 NodeManager

历史服务器启动和停止
• $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

[hadoop@node1 ~]$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers
[hadoop@node1 ~]$ jps
28370 NodeManager
29030 Jps
28167 ResourceManager
20105 SecondaryNameNode
28874 WebAppProxyServer
19357 NameNode
19565 DataNode
[hadoop@node1 ~]$ mapred --daemon start historyserver
WARNING: HADOOP_MAPRED_ROOT_LOGGER has been replaced by HADOOP_ROOT_LOGGER. Using value of HADOOP_MAPRED_ROOT_LOGGER.
[hadoop@node1 ~]$ jps
28370 NodeManager
32693 Jps
28167 ResourceManager
20105 SecondaryNameNode
32553 JobHistoryServer
28874 WebAppProxyServer
19357 NameNode
19565 DataNode

• 确保 Hive 文件夹所属为 hadoop 用户
• 创建一个 hive 的日志文件夹：mkdir /export/server/hive/logs
• 启动元数据管理服务（必须启动，否则无法工作）
前台启动： bin/hive --service metastore
后台启动： nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
（直接执行bin/hive，需要先在/export/server/hive文件夹中）
• 启动客户端，二选一（当前先选择 Hive Shell 方式）
Hive Shell 方式（可以直接写 SQL ）： bin/hive
Hive ThriftServer 方式（不可直接写 SQL ，需要外部客户端链接使用）： bin/hive --service hiveserver2
（后台启动nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &）

[hadoop@node1 ~]$ nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1 &
[1] 48802
[hadoop@node1 ~]$ nohup /export/server/hive/bin/hive --service hiveserver2 >> /ex
port/server/hive/logs/hiveserver2.log 2>&1 &
[2] 56577
[hadoop@node1 ~]$ jps
56577 RunJar
28370 NodeManager
48802 RunJar
28167 ResourceManager
56856 Jps
20105 SecondaryNameNode
32553 JobHistoryServer
28874 WebAppProxyServer
19357 NameNode
19565 DataNode