spark-troubleshooting-网卡流量激增问题

最新推荐文章于 2020-09-14 07:25:11 发布

猿与禅

最新推荐文章于 2020-09-14 07:25:11 发布

阅读量506

点赞数

分类专栏： spark 文章标签：大数据 spark 网卡流量激增

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_16038125/article/details/72899844

版权

spark 专栏收录该内容

51 篇文章 1 订阅

订阅专栏

最近做大数据项目过程中，发现在集群上某个节点从第三方ftp服务器下载日志数据的时候，网络突然变慢，从5M降到1M左右，但是通过与运维沟通发现网络流量一直在满负荷传输，
与第三方反复沟通，发现两方服务器的配置完全正常，后来细心排查发现，原因是从hdfs读取数据的脚本以及spark使用client模式的任务占用大量的带宽
所以在spark生产环境最好采用cluster模式

原理分析：
使用了client模式后，Driver 启动在本地机器 Driver全权负责所在任务的调度的，跟yarn集群上运行的多个executor进行频繁的通信，中间有task的启动消息 task的执行统计 task的运行状态 shuffle的输出结果，网络负载非常高，导致本地机器的网卡流量激增。
而使用了yarn-cluster模式后，yarn选择在集群中某个节点运行Driver，负责task调度，而本地机器只做提交动作

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
2
评论
spark-troubleshooting-网卡流量激增问题

最近做大数据项目过程中，发现在集群上某个节点从第三方ftp服务器下载日志数据的时候，网络突然变慢，但是通过与运维沟通发现网络流量一直在满负荷传输，与第三方反复沟通，发现两方服务器的配置完全正常，后来细心排查发现，原因是从hdfs读取数据的脚本以及spark使用client模式的任务占用大量的带宽所以在spark生产环境最好采用cluster模式原理分析：使用了client模式后，Driv
复制链接

扫一扫

专栏目录

猿与禅 CSDN认证博客专家 CSDN认证企业博客

码龄10年

255: 原创

4831: 周排名

3949: 总排名

62万+: 访问

: 等级

7197: 积分

3142: 粉丝

401: 获赞

78: 评论

870: 收藏

私信

关注

热门文章

分类专栏

最新评论

AI大模型-使用 FastChat 部署ChatGLM3
猿与禅: 可以的，文章最后有我的微信名片
AI大模型-使用 FastChat 部署ChatGLM3
湾区会客厅: 文章写的不错，有机会可以交流一下？
ollama集成open-webui本地部署大模型应用
普通网友: 好文，细节很到位！【我也写了一些相关领域的文章，希望能够得到博主的指导，共同进步！】
docker 安装
猿与禅: 1. **创建和启动服务容器**： - `docker-compose up`：启动服务容器并根据需要构建镜像。加上 `-d` 参数（`docker-compose up -d`）则会在后台（detached mode）启动容器。 - `docker-compose up --build`：在启动服务之前先重新构建镜像。 2. **停止并删除容器、网络和卷**： - `docker-compose down`：停止并删除由 `docker-compose up` 创建的所有资源，包括容器、网络和挂载的数据卷。若要保留卷，可以使用 `docker-compose down --volumes=false`。 3. **查看服务状态**： - `docker-compose ps`：列出所有服务及其容器的当前状态。 4. **重新创建容器**： - `docker-compose restart [SERVICE...]`：重启指定服务或所有服务的容器。 5. **进入容器**： - `docker-compose exec [SERVICE] [COMMAND]`：在指定服务的容器内执行命令。 6. **查看日志**： - `docker-compose logs [SERVICE...]`：查看服务容器的日志输出。 7. **构建镜像**： - `docker-compose build [SERVICE...]`：构建（或重新构建）服务的镜像。 8. **运行一次性命令**： - `docker-compose run [SERVICE] [COMMAND]`：在指定服务的容器中运行一次性命令，不改变服务的容器状态。 9. **配置检查**： - `docker-compose config`：验证并打印YAML配置文件的解析结果。 10. **暂停与恢复服务**： - `docker-compose pause [SERVICE...]`：暂停服务容器的运行。 - `docker-compose unpause [SERVICE...]`：恢复已暂停的服务容器。除此之外，还有其他一些命令，如： - `docker-compose pull`：拉取服务所需的镜像。 -
docker 安装
猿与禅: 1. **创建和启动服务容器**： - `docker-compose up`：启动服务容器并根据需要构建镜像。加上 `-d` 参数（`docker-compose up -d`）则会在后台（detached mode）启动容器。 - `docker-compose up --build`：在启动服务之前先重新构建镜像。 2. **停止并删除容器、网络和卷**： - `docker-compose down`：停止并删除由 `docker-compose up` 创建的所有资源，包括容器、网络和挂载的数据卷。若要保留卷，可以使用 `docker-compose down --volumes=false`。 3. **查看服务状态**： - `docker-compose ps`：列出所有服务及其容器的当前状态。 4. **重新创建容器**： - `docker-compose restart [SERVICE...]`：重启指定服务或所有服务的容器。 5. **进入容器**： - `docker-compose exec [SERVICE] [COMMAND]`：在指定服务的容器内执行命令。 6. **查看日志**： - `docker-compose logs [SERVICE...]`：查看服务容器的日志输出。 7. **构建镜像**： - `docker-compose build [SERVICE...]`：构建（或重新构建）服务的镜像。 8. **运行一次性命令**： - `docker-compose run [SERVICE] [COMMAND]`：在指定服务的容器中运行一次性命令，不改变服务的容器状态。 9. **配置检查**： - `docker-compose config`：验证并打印YAML配置文件的解析结果。 10. **暂停与恢复服务**： - `docker-compose pause [SERVICE...]`：暂停服务容器的运行。 - `docker-compose unpause [SERVICE...]`：恢复已暂停的服务容器。除此之外，还有其他一些命令，如： - `docker-compose pull`：拉取服务所需的镜像。 - `docker-compose stop`：停止服务容器而不删除它们。 - `docker-compose top`：查看服务容器中运行的进程。

大家在看

最新文章

2024

目录

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

猿与禅 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。