【大数据技术干货】教你如何快速启动spark，巧妙化解hdfs，yarn，spark等框架时有关启动命令和关闭命令相互冲突的问题

最新推荐文章于 2024-03-06 20:29:20 发布
最新推荐文章于 2024-03-06 20:29:20 发布
阅读量486 收藏
点赞数
分类专栏： 物联网&大数据知识的思考，总结和拓展 文章标签： spark hadoop hdfs yarn shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuchunhang/article/details/103185092
版权
本文介绍了在Hadoop、HDFS、YARN和Spark集群部署后，如何处理启动和关闭命令之间的冲突问题。重点讲解了一种非传统的解决方案，即通过修改Spark的启动命令名称，避免在调用时与其它框架命令冲突，从而实现方便快捷地启动Spark。
摘要由CSDN通过智能技术生成

各个框架部署集群后的默认命令

1单独dfs的启动的关闭

start-dfs.sh
stop-dfs.sh

2单独的yarn的启动和关闭

start-yarn.sh
stop-yarn.sh

3dfs，yarn一同的启动和关闭

start-all.sh
stop-all.sh

4单独的spark的启动关闭

start-all.sh
stop-all.sh

5相互冲突的命令
我们可以看出 上方3和4的命令相互冲突，且当使用start-all.sh，stop-all.sh命令时，启动关闭的是dfs，yarn，对于spark不起作用。

了解本专栏 订阅专栏 解锁全文
牵牛刘先生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
大数据Spark和Hadoop以及区别（干货）
大数据Spark教程
12-13 1382
1. Spark是什么？ Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，Spark GraphX用...
spark启动过程
04-28
本文详细的描述了spark 的启动过程，帮助你快速了解spark
关于hadoop目录下与spark目录下重名文件启动冲突的问题
qq_44873033的博客
08-16 131
同名文件冲突
第五：Spark启动！
最新发布
2301_77834805的博客
03-06 1818
一.什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务；
Hadoop、HDFS、MapReduce、Habse、Spark、Yarn是干什么的？
qq_33431394的博客
09-21 710
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDF.
spark启动，启动hadoop关闭步骤
qq_45371603的博客
02-29 899
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManag...
一文带你了解 Spark 架构设计与原理思想
大数据梦想家
11-08 4997
Spark 架构设计与原理思想，性能调优与故障处理 ...
大数据干货丨Hive on Spark 调优
大数据Spark教程
12-05 423
之前在Hive on Spark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现 POWER_TEST阶段（依次执行30个查询）CPU只用了百分之十几，也就是没有把整个集群的性能利用起来，导致跑得很慢。因此，如何调整参数，使整个集群发挥最大性能显得尤为重要。 Spark作业运行原理 详细原理见上图。我们使用spark-submit提交一个Spark...
大数据框架Hadoop和Spark对比优势
大数据工程师
05-25 2921
　每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你? 　　如果想批处理流量数据，并将其导入HDFS或使用Spark Streaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗? 　　为了增加混淆，Spark和Hadoop经常与位于HDFS，H...
Spark系列之Spark启动与基础使用
luoyepiaoxue2014的博客
11-28 6982
Spark系列之Spark启动与基础使用
node中的yarn与hadoop的yarn冲突问题
Wen2018gh的博客
09-08 3258
问题描述： 应上级领导要求，最近要上手jeecg，嗨呀，算不上上手，目前就先搭个环境出来，跟着官网步骤来（官网链接http://doc.jeecg.com/1273968），node.js安装步骤参照https://my.oschina.net/jeecg/blog/4277939，使用命令 npm i yarn -g #使用npm安装yarn 安装成功后，无法启用yarn，使用yarn -v命令无法加载yarn的版本号，甚至yarn --version命令直接加载出来java版本。 原因及..
hadoop与spark共存伪分布式系统搭建
飞华的博客
08-27 349
这里写自定义目录标题1 安装部署Hadoop2 安装部署spark 1 安装部署Hadoop 关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service 配置主机名 vi /etc/hosts ip bigdata2 免密码登陆（不对称：公钥、私钥-----> 字符串） ssh-keygen -t rsa ssh-copy-id -i .ssh/id_rsa.pub root@bigdata2 安装jdk
YARN 模式的 Spark 安装配置
CcfXx2000的博客
03-08 472
在Linux中安装Spark后配置YARN模式
【C语言基础】typedef关键字的使用方法
欢迎时常光顾我的干货超市，热衷于AIoT！！
04-06 445
一、typedef的作用 二、typedef的语法格式 三、常见的typedef使用示例
Spark本地调试和程序重启checkpoint恢复碰到的问题
qq_38019655的博客
09-29 1484
Spark本地调试和程序重启checkpoint恢复碰到的问题 1、产生问题的背景 　　今天自测Spark程序碰到两个问题，(1)、启动流式程序报错 (2)、重启Spark程序,同一个对象的部分数据恢复了，一部分没有恢复 　　第一个问题的报错信息： 　　第二个问题的结果信息： 2、排查问题的原因 　　第一个问题的原因是:没有配置hadoop的环境变量,导致在写checkpoint数据的时候报错了...
Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
OopsOutOfMemory盛利的博客
04-21 2万+
目前spark的Run on的hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0
如何运行Spark程序
weixin_34302798的博客
11-24 205
  [hxsyl@CentOSMaster spark-2.0.2-bin-hadoop2.6]# ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.0.2.jar 　　注意在hxsyl下，在root下运行提示...
解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java
热门推荐
someby的博客
10-03 4万+
一、问题 在启动hadoop和spark-shell的时候会有警告： start-dfs.sh 2018-10-03 09:43:31,795 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applic...
大数据框架对比：Hadoop vs Spark vs Storm等选择指南
大数据处理框架是现代IT基础设施的核心组成部分，用于管理和分析海量数据，以支持企业的决策制定和业务优化。本文将深入探讨五种常见的大数据处理框架：Apache Hadoop、Apache Storm、Apache Samza、Apache Spark和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

牵牛刘先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值