CDH集群spark-shell执行过程分析

于 2022-07-30 18:47:39 发布
阅读量489 收藏
点赞数
分类专栏： hadoop 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43214644/article/details/126076193
版权
hadoop 专栏收录该内容
63 篇文章 39 订阅 ¥19.90 ¥99.00
订阅专栏

目的
刚入门spark，安装的是CDH的版本，版本号spark-core_2.11-2.4.0-cdh6.2.1，部署了cdh客户端（非集群节点），本文主要以spark-shell为例子，对在cdh客户端上提交spark作业原理进行简单分析，加深理解

spark-shell执行
启动spark-shell后，可以发下yarn集群上启动了一个作业，实际上，cdh-spark默认提交作业模式为yarn-client模式，即在本地运行Driver，作业在yarn集群上执行

在这里插入图片描述

在这里插入图片描述

spark-shell启动过程分析
查看spark-shell路径及内容，$LIB_DIR值为/opt/cloudera/parcels/CDH/lib，所以执行的是/opt/cloudera/parcels/CDH/lib/spark/bin/spark-shell

在这里插入图片描述

继续查看/opt/cloudera/parcels/CDH/lib/spark/bin/spark-shell，脚本关键的内容如下：

#!/usr/bin/env bash
if [ -z "

了解本专栏 订阅专栏 解锁全文
格格巫 MMQ!!
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
博客
深度分析Linux下双网卡绑定七种模式 多网卡的7种bond模式原理
07-01 4722
多网卡的7种bond模式原理Linux网卡绑定mode共有七种(0~6) bond0、bond1、bond2、bond3、bond4、bond5、bond6常用的有三种mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。需要说明的是如果想做成mode 0的负载均衡,仅仅设置这里options bond0 miimon=100 mode.
博客
5G技术优势
03-18 3万+
1G实现了移动通话，2G实现了短信、数字语音和手机上网，3G带来了基于图片的移动互联网，而4G则推动了移动视频的发展。5G网络则视为未来物联网、车联网等万物互联的基础。同时，5G普及将使得包括虚拟现实和增强现实这些技术成为主流。4G网络是专为手机打造的，没有为物联网进行优化。5G技术为物联网提供了超大带宽。与4G相比，5G网络可以支持10倍以上的设备。可以应用于自动驾驶、超高清视频、虚拟现实、万物互联的智能传感器。　　5G网络主要有三大特点，极高的速率，极大的容量，极低的时延。相对4G网络，传输速率提升1
博客
允许Traceroute探测漏洞解决方法
03-29 735
允许Traceroute探测漏洞解决方法详细描述 本插件使用Traceroute探测来获取扫描器与远程主机之间的路由信息。攻击者也可以利用这些信息来了解目标网络的网络拓扑。解决办法 在防火墙出站规则中禁用echo-reply（type 0）、time-exceeded（type 11）、destination-unreachable（type 3）类型的ICMP包。1、关闭Traceroute探测的方法2、重新载入防火墙配置3、查看防火墙规则。
博客
ftp连接命令linux的简单介绍
10-18 3566
oPort=远程端口号sftp get /var/www/fuyatao/index.php /home/fuyatao/。这条语句将从远程主机的 /var/www/fuyatao/目录下将 index.php。这条语句将把本地 /home/fuyatao/downloads/目录下的 linuxgl.pdf文件上传至远程主机/var/www/fuyatao/ 目录下。ls -l 普通文件就是以 - 开头，文件夹以 d 开头，grep 后面接正则表达式：^- 以 - 开头的匹配。
博客
yarn启动后用jps查看没有resourcemanager
10-15 678
1.1.添加：如下：再次启动yarn就有了，如下：2.
博客
Linux技巧：修复硬盘坏道
10-07 1847
Last cylinder or +size or +sizeM or +sizeK (51-125, default 125): +200M 注：这个是定义分区大小的，+200M 就是大小为200M；警告：删除分区时要小心，请看好分区的序号，如果您删除了扩展分区，扩展分区之下的逻辑分区都会删除；Last cylinder or +size or +sizeM or +sizeK (1-125, default 125): +200M 注：指定分区大小，用+200M来指定大小为200M。
博客
SDN介绍
09-14 616
想当年，集群技术多火，STP和VRRP技术多经典，还不是慢慢被淘汰，成为了历史，只要不适应业务发展的需要，再好的技术都可能被淘汰。三是小型的数据中心网络，一旦部署后完成后，扩容和变更机会是比较少的，人工操作并不复杂，引入SDN属于大材小用，给数据中心带来的真正实惠不对，即便是那些大型的数据中心网络，扩容几台网络设备，一个熟练的网络工程师也可以很快完成，并不比SDN的方式慢多少，SDN虽是自动化部署，但出了问题排查起来也难度不小，Underlay和Overlay网络层面都要排查，网络问题复杂度增加了。
博客
running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used； 2.6 GB of
09-14 366
因为默认值都是：1024M，也就是一个G，如果不够就会溢出！在运行hive sql前加上 ： （map）或者 （reduce）
博客
Sftp登录时报received message too long 1416128883如何解决？Ensure the remote shell produces no output for non-
06-13 2038
但是，实际上文件系统也可能仅仅是一种访问数据的界面而已，实际的数据是通过网络协议（如NFS、SMB、9P等）提供的或者内存上，甚至可能根本没有对应的文件（如proc文件系统）。用户使用文件系统来保存数据，只需要记住这个文件的所属目录和文件名。在写入新数据之前，用户不必关心硬盘上的那个块地址没有被使用，硬盘上的存储空间管理（分配和释放）功能由文件系统自动完成，用户只需要记住数据被写入到了哪个文件中。在计算机领域，SSH文件传输协议，即SFTP，它是一数据流连接，提供文件访问、传输和管理功能的网络传输协议。
博客
ftp工具无法连接到Linux服务器
06-13 1399
ftp工具无法连接Linux服务器，文件无法上传，是因为你的ftp服务器未搭建（或未启动）但是ftp工具的21端口无法连上远程主机，文件无法上传。许久没有登录腾讯云，今天想用xshell的xftp工具上传文件，却突然出现连接不上。问题出在Linux虚拟云主机上面的 21 端口的 ftp 功能没有启动。执行下面的命令，将 vsftpd 设置为开机启动。ftp工具可以正常连上Linux服务器了，文件可以上传了。3.执行以下命令，确认服务是否启动。执行以下命令，安装 vsftpd。执行以下命令，启动服务。
博客
Linux新用户登录时出现“-bash-4.2$”的解决办法
06-13 2728
Linux服务器新建的用户在登录时显示“-bash-4.2$”，而不是“user@hostname”的显示方式，出现此问题的原因是在添加普通用户时，用户家目录下丢失了.bash_profile和.bashrc两个环境变量文件。之后退出终端重新登录即可。
博客
liunx卸载磁盘后重新挂载
05-15 536
root@localhost]# parted /dev/sdb 使用parted来对GPT磁盘操作，进入交互式模式。[root@localhost]# mkfs.xfs -f /dev/sdb1 格式化分区xfs格式。[root@localhost]# mkdir /data1 在根目录下新建挂载硬盘所需文件夹。[root@localhost]# vi /etc/fstab 在fstab表末添加下列参数。[root@localhost]# df -Th 查看分区挂载情况。
博客
5G NR 网络切片是什么意思
03-28 1618
b） CSC-A可以使用从CSP-A获得的网络切片来支持自己的通信服务，或者可以向获得的NSaaS添加额外的网络功能，并将得到的组合作为一个新的网络切片提供给CSP-b。网络切片可以理解为支持特定使用场景或商业模式的通信服务要求的一组逻辑网络功能的集合，是基于物理基础设施对服务的实现，这些逻辑网络功能可以看作是由EPC下的网络功能（NetworkFuncTIon）分解而来的一系列子功能（Networksub-FuncTIon）。与向终端用户提供的通信服务不同，在NSaaS中，所提供的服务是实际的网络切片。
博客
json文件怎么写注释
03-23 3654
4、我们可以使用重复定义的方法来添加注释。json文件解析后，是使用最后定义的值的。2、一个json文件，其实就是一个js脚本文件，我们可以使用//的单行注释符。5、如果不使用重复值，我们也可以专门使用//的键来作为注释键。1、 使用编辑器打开json文件，现在是没有注释内容的。3、也可以使用/* */符号来支持多行注释。6、添加完注释后，把文件保存就行了。（如果没有的话需要下载安装）
博客
xml文件的注释展示
03-23 1216
即能够在HTML文件之外将数据存储在XML文档中，这样可以使开发者集中精力使用HTML做好数据的显示和布局，并确保数据改动时不会导致HTML文件也需要改动，从而方便维护页面。XML也能够将数据以“数据岛”的形式存储在HTML页面中，开发者依然可以把精力集中到使用HTML格式化和显示数据上。基于XML可以在不兼容的系统之间交换数据，计算机系统和数据库系统所存储的数据有多种形式，对于开发者来说，最耗时间的工作就是在遍布网络的系统之间交换数据。xml文件的注释格式： ，注释不能嵌套定义。
博客
欧拉操作系统和linux区别
03-17 3307
linux 有自己的API。windows也有自己的API例如：linux下打开文件的函数是open()，而windows下却是fopen(),这并不能代表C语言有什么区别，只是说平台不同定义的API函数不同。而Linux发行套件系统才是咱们常说的Linux操作系统，也即是由Linux内核与各种常用软件的集合产品，全球大约有数百款的Linux系统版本，比较有名的有RedHat、CentOS、Ubuntu等。一般来说，我们平时说Linux指的是Linux系统内核，而centos是Linux发行套件系统。
博客
EasyConnect虚拟IP地址未分配
03-08 3146
工作中遇到EasyConnect虚拟IP地址未分配，导致无法正常连接服务器进行调测工作。
博客
MySQL修改密码的3种方式以及启动方式
02-10 1978
注意：下图修改密码的命令中 -uroot 和 -proot 是整体，不要写成 -u root -p root，-u 和 root 间可以加空格，但是会有警告出现，所以就不要加空格了。使用 mysqladmin 命令修改 MySQL 的 root 用户密码格式为 mysqladmin -u用户名 -p旧密码 password 新密码。在使用数据库时，我们也许会遇到 MySQL 需要修改密码的情况，比如密码太简单需要修改等。，其中 username 为要修改密码的用户名，newpwd 为要修改的新密码。
博客
Lftp for linux 编译安装
02-09 1658
默认命令安装路径/软件路径/lftp-4.9.2/src/lftp （可在 ./configure --prefix=“xxxxxxx” 自定义）make[2]: 离开目录“/root/lftp-4.9.2/contrib”make[2]: 进入目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/tests”make[2]: 离开目录“/root/lftp-4.9.2/src”make[2]: 离开目录“/root/lftp-4.9.2/po”
博客
com.jcraft.jsch.JSchException: Session.connect: java.io.IOException: End of IO Stream Read
02-09 3483
2）上网搜寻这个错误，发现国内遇到这个问题不多。国外stackoverflow网站上有贴出一样的报错，但是引用的jar版本不同，并且答案指出升级到jsch-0.1.54问题就不存在了。1）经过多次测试，排查问题。推测是环境ssh版本问题，由于客户环境不可见，无法获得sftp服务器ssh的版本。在sftp登录时，设置完ip，port,user和pwd之后。3）小心测试，解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值