spark、hadoop启动命令及web端口号

最新推荐文章于 2024-01-19 15:43:45 发布
最新推荐文章于 2024-01-19 15:43:45 发布
阅读量682 收藏
点赞数
分类专栏： Spark 文章标签： linux hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45790068/article/details/108695365
版权

spark启动命令：cd /usr/local/spark
sbin-start-all.sh
spark进入shell命令行：cd /usr/local/spark
bin/spark-shell
或者bin/spark-shell --master local[4]
hadoop启动命令：cd /usr/local/hadoop
./sbin/start-dfs.sh
spark启动后访问web页面端口：http：//localhost:8080
hadoop启动后访问web页面端口：http://localhost:9807

lin_x_t
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop、Spark和Hive调优优化原理
禅与计算机程序设计艺术
08-03 926
1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。
【Spark】【配置】Spark+Hadoop分布式配置（4台服务器）
我是一只妖精
12-01 528
【Spark】【配置】Spark+Hadoop分布式配置（4台服务器） 首先需要安装好JDK环境和HDFS分布式环境，hdfs配置可查看 Hadoop完全分布式配置 注：所有设备上的spark配置的文件路径必须一致，jdk和python版本也需要一致。因此最好放在/usr/ 或者/home/下面，不然需要在每个设备上分别创建同样路径的文件夹。python可以使用conda下的环境。 本文使用的4台server，ip分布如下： master worker 10.57.175.11 10.5
Spark常用端口号
mischen520的博客
07-07 298
1）4040 spark-shell任务端口 2）7077 内部通讯端口。 类比Hadoop的8020/9000 3）8080 查看任务执行情况端口。 类比Hadoop的8088 4）18080 历史服务器。类比Hadoop的19888 注意：由于Spark只负责计算，所有并没有Hadoop中存储数据的端口50070 ...
spark-shell启动
04-28
本文档详细的介绍了spark的shell启动命令，具体细节等要求
spark常见端口号
Peanut的博客
09-18 8931
1）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888） 2）Spark Master Web端口号：8080（类比于Hadoop的NameNode Web端口号：9870(50070)） 3）Spark Master内部通信服务端口号：7077 （类比于Hadoop（高版本）的8020(9000)端口） 4）Spark查看当前Spark-shell运行任务情况端口号：4040 5）Hadoop YARN任务运行情况查看端口号：8088 ...
hadoop和spark等启动指令
Jack_LI的博客
07-27 2625
1 hadoop启动指令 start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack sta...
Hadoop,Spark和HIve的启动命令
qq_49044908的博客
04-11 2915
Hadoop和Spark命令 Hadoop启动命令 启动HDFS服务 start-dfs.sh stop-dfs.sh 启动YARN服务 start-yarn.sh stop-yarn.sh 启动同时启动 start-all.sh stop-yarn.sh Spark模式 Local本地模式 先启动hdfs服务 start-all.sh 或者 start-dfs.sh 启动交互式服务 /export/server/spark-3.0.1-bin-hadoop2.7/bin/spark-shell 独立集
大数据之Hadoop+Spark生态圈脚本启动命令（二）
weixin_43597208的博客
04-02 213
1.Hive 1.1什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2hive启动命令： 第一种方式： [hadoop@bigdata02 hive]$ bin/hive 第二种方式： 先启动hiveserver2服务 [hadoop@bigdata02 hive]$ bin/hiveserver2 复
大数据常用端口及服务启动命令
奇迹虎虎的博客
02-19 2053
大数据常用端口&服务启动命令，启动hadoop、yarn、zookeeper、hbase、hive、saprk、hase、kafka等等...
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9693
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
Spark 2017最新运行命令样例
08-04
包含spark三种运行模式所有相关运行指令 需要更多资源请关注。 个人github: https://github.com/huangyueranbbc
spark伪分布式搭建及spark页面8080端口访问出错的问题
热门推荐
sogn
12-28 2万+
伪分布式搭建其实很简单（spark集群搭建都很简单）1、首先到官网下载spark压缩包2、下载 命令行中使用：wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz 3、解压 tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz 4、修改配置文件
大数据之 Spark 常用的端口号
代妈炼金术师
01-19 1894
7077，这是 Spark 在 Standalone 模式下的主节点（Master）与 Worker 节点通信的服务端口，客户端提交应用时也会连接此端口。：18080，历史服务器提供已完成作业的持久化存储和查询功能，用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。：默认为 8080，但这个端口可能会根据实际情况自动调整或手动配置，用户可以通过该端口查看集群的总体状态和各个应用程序的信息。：默认情况下，Worker 的 Web UI 端口可能不是固定的，通常会是。
hadoop/spark常用命令
wyc_595998412的博客
08-25 568
flume的启动命令 ./bin/flume-ng agent -n a1 -c conf -f conf/myconf/flume-kafka.conf -Dflume.root.logger=INFO,console zookeeper : ./zkServer.sh start kafka : nohup bin/kafka-server-start.sh  config/server....
spark启动程序命令
weixin_39971163的博客
09-06 2098
使用standalone的client方式启动命令： ./spark-submit --master spark://hive01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar 300 使用standalone的...
spark 命令行启动
freefish_yzx的博客
08-27 1822
1.start-dfs.sh  2./home/hadoop/apps/spark-1.6.1-bin-hadoop2.6/sbin/start-all.sh  3./home/hadoop/apps/spark-1.6.1-bin-hadoop2.6/bin/spark-shell --master spark://hadoop01:7077 --executor-memory 1g
linux启动spark命令,在linux上安装spark
weixin_34243541的博客
04-29 6044
第一、通过xftp工具将spark安装包上传到linux上第二、解压spark到指定目录：tar -zxf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/第三、配置1、在spark安装路径配置spark-env.sh,我的路径是/opt/module/spark-2.1.0-bin-hadoop2.7/conf输入命令：vi ...
启动spark集群需要用到的一些命令
u013029726的博客
10-06 2759
开启hadoop集群：start-all.sh 关闭hadoop集群：stop-all.sh 开启spark的主节点：start-master.sh 其他节点：start-slaves.sh 关闭spark的主节点：stop-master.sh 其他节点：stop-slaves.sh spark的启动方法： /usr/local/spark/bin/spark-shell 启动spark ...
启动spark
一一的博客
12-18 1340
cd /usr/local/spark/ ./bin/spark-shell
hadoop启动命令
最新发布
06-05
Hadoop 启动命令包括启动 Hadoop 文件系统（HDFS）、启动 YARN（资源管理器）以及启动 Hadoop 相关的服务。以下是常用的 Hadoop 启动命令： 1. 启动 HDFS：`start-dfs.sh` 2. 启动 YARN：`start-yarn.sh` 3. 启动 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值