mysql模块无启动_各模块启动

启动hdfs-2.7.3：

hdfs和yarn生产环境下是不启动在同一个节点的，hdfs启动在node1

1、启动hdfs

/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

2、访问

http://node1:50070

暂不知配在哪里，可能是hdfs-site.xml

3、其他

单独启动某个服务

hadoop-deamon.sh start namenode

启动一个 DN

hadoop-daemon.sh start datanode

hadoop-daemon.sh start nodemanager

启动yarn-2.7.3：

yarn启动在node2，这里记得把yarn-site.xml中的所有地址改成node2

1、启动yarn

/home/orco/resources/hadoop-2.7.3/sbin/start-yarn.sh

2、访问

http://node2:18088

启动MapReduce History Server

我启动在node2，配置地址在yarn-site.xml

1、启动

/home/orco/resources/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver

启动后进程名为：JobHistoryServer

2、访问

http://node2:18088

启动hive-2.1.1：

1、运行mysql

sudo service mysqld start

2、运行hdfs

/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

3、运行yarn

/home/orco/resources/hadoop-2.7.3/sbin/start-yarn.sh

4、运行metastore

nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &

5、运行hive server

nohup hive --service hiveserver2 >> /home/orco/resources/apache-hive-2.1.1-bin/hiveserver.log 2>&1 &

6、启动hive命令行

hive

启动Presto-0.166:

1、启动hdfs

/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

2、启动hive metastore

启动mysql：

sudo service mysqld start

nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &

3、启动Presto

需要在每个节点上都启动

/home/orco/resources/presto-server-0.166/bin/launcher start

4、访问

http://node1:8081

5、启动Presto Client

presto --server node1:8081 --catalog hive --schema default

server：指的是Coordinator的地址，配置在config.properties 中

hive：用的是hive的connector

default：用的是hive的default数据库

启动zeppelin-0.7.1

启动zeppelin

/home/orco/software/zeppelin-0.7.1-bin-all/bin/zeppelin-daemon.sh start

可以创建conf/zeppelin-env.sh文件，添加如下内容

export ZEPPELIN_PORT=8090

访问

http://node1:8080

如果使用了上面那个配置文件，则 http://node1:8090

启动spark on yarn-2.1.0

spark on yarn只需要启动 Spark history server，我启动在node1

前提是yarn、hdfs、MapReduce History Server都启动了

1、启动Spark history server

/home/orco/resources/spark-2.1.0-bin-hadoop2.7/sbin/start-history-server.sh

启动后进程名为：HistoryServer

2、访问

http://node1:18080/

3、如果只是想简单的看个日志，不想启动history server，可以在命令行中输入

bin/yarn logs -applicationId xxxx

来查看，当然如果日志很多就不太方便了

启动zookeeper(已经用写好了脚本，用脚本启动)

在三台机器上同时启动

bin/zkServer.sh start conf/zoo.cfg

启动kafka

在三台机器上启动

/home/orco/resources/kafka_2.10-0.10.1.1/bin/kafka-server-start.sh -daemon /home/orco/resources/kafka_2.10-0.10.1.1/config/server.properties