Spark，所用几个网页地址

最新推荐文章于 2025-05-08 17:01:53 发布
最新推荐文章于 2025-05-08 17:01:53 发布
阅读量322 收藏
点赞数 1
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_87076452/article/details/147735292
版权

hadoop的三大组成：

        1. HDFS：存储。文件上传，下载

        2. MapReduce：计算。词频统计，流量统计

        3. YARN：调度

History Server网址：192.168.56.100:18080HDFS的NameNode网址：http://hadoop100:9870YARN的ResourceManager网址：http://hadoop101:8088

Amu_Yalo
关注
Docker 化部署 Apache Spark
AI天才研究院
08-06 1073
15年7月，Apache基金会宣布开源了Spark项目，这标志着基于内存计算的大数据处理技术进入了一个全新的阶段。由于Spark的分布式架构特性，使其具有极高的可扩展性和容错性。因此，越来越多的公司、组织和个人开始使用Spark作为分析平台进行大数据的分析处理。同时，Spark也已经成为开源领域里非常流行的一个项目。在生产环境中，部署Spark的方式通常采用集群部署模式，即将集群中的各个节点配置成一个整体，形成统一的计算资源池。这种方式的优点是简单、灵活，能够适应各种业务场景；
Spark环境搭建与配置
2401_87241283的博客
03-19 1211
spark环境搭建和配置
Spark的常用概念总结
寅寅的博客
04-09 2234
Spark基本概念
Spark/Kafka
weixin_42067536的博客
01-21 1164
1.最小计算单元，读取数据时，进行了分区partition，然后将partion交给task 执行。自定义分区器：我们可以将数据中包含fxx的数据，放去partion 0的分区，gjj放入 1的分区。默认分区器：如果指定了Key，但是没指定分区，默认会使用Key以及分区数的哈希取模。
Spark Core
ytzhyp的博客
03-20 189
新手入门文章
Spark概述
懒猫的脚印
05-31 467
MR计算模型已经可以满足所有的计算需求了。但其对于一些复杂的计算要经过多个Map或者reduce, 中间步骤读写HDFS。而这些中间数据是不被用户关心的，spark提出RDD计算模型， 不同于MR的是中间输出结果可以保存在内存中。...
Docker搭建hadoop和spark集群
escapeape的博客
04-01 2020
在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。6.拉取的镜像的环境变量默认配置在/etc/profile中。6.拉取的镜像的环境变量默认配置在/etc/profile中。选择conda来管理python虚拟环境。选择conda来管理python虚拟环境。拉取的镜像没有配置spark,手动配置。拉取的镜像没有配置spark,手动配置。4. 使用conda创建虚拟环境。
Spark Shuffle模块详解
晓晓的天空
03-17 1445
Spark Shuffle模块详解
Spark：一个高效的分布式计算系统
在前进的路上
01-09 1896
概述 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需
【大数据】Spark入门指南：从基础概念到实践应用全解析
BookSea的博客
10-10 725
在这个数据驱动的时代，信息的处理和分析变得越来越重要。而在众多的大数据处理框架中，Apache Spark以其独特的优势脱颖而出。
统计ip地址的所属省份的spark程序,并将处理的结果数据存储到mysql数据库中所用的资料
11-26
在处理过程中，我们需要加载这个文件，然后通过某种算法或规则（例如，根据IP地址的前几位来确定省份）来解析`ip.txt`中的每个IP地址，找出它们对应的省份。 在Spark中，可以使用DataFrame API来处理这些数据。首先...
Spark应用部署模式实例
2401_87241283的博客
05-07 455
hadoop中YARN的工作节点上的代理，负责容器生命周期管理，并监控资源使用情况（如CPU、内存、磁盘、网络等）。#hadoop中HDFS的数据存储节点，负责存储实际的数据块，并响应来自客户端或 NameNode 的读写请求。#hadoop中HDFS的名称节点（核心组件），管理文件系统的命名空间，并控制客户端对文件的访问。SparkSubmit # pyspark命令启动的进程，实际上就是启动了一个Spark应用程序。#hadoop中YARN的资源经理（主控服务），负责集群资源管理和调度应用的任务。
Spark 之 YarnCoarseGrainedExecutorBackend
zhixingheyi_tian的博客
05-07 187
executor ID ， 在日志里也有体现。
《spark》
2502_90678230的博客
05-08 276
提交命令示例：`bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2]./examples/jars/spark-examples_2.12-3.0.0.jar 10`4. 独立模式部署（Standalone Mode）： - 安装与配置：在所有节点上创建spark文件夹，解压Spark并重命名为spark-standalone。1. 基于内存的计算： - Spark将数据存储在内存中，而不是磁盘上。
Spark处理过程-案例数据清洗
最新发布
2401_83374563的博客
05-08 308
coalesce(1)这个方法可以让结果全部保存在一个文件中。包含用户信息的文本文件，每行格式为 姓名,年龄,性别，需要。// 创建 SparkContext 对象。// 创建 SparkConf 对象。// 停止 SparkContext。// 停止 SparkContext。// 读取文本文件，创建 RDD。如果它不是数字或者缺失，则忽略这条数据。如何把清洗之后的数据保存到一个文件中。// 保存清洗后的数据到文件。字段拆分，拆分出年龄这个字段。// 使用filter算子。// 输出清洗后的数据。
spark行动算子
lqlj2233的博客
05-07 558
在 Apache Spark 中，行动算子（Action）用于触发对 RDD 的实际计算，并将结果返回给驱动程序（Driver）或保存到外部存储系统中。与转换算子（Transformation）不同，行动算子会立即触发作业的执行，因为它们需要将计算结果输出到外部。
Spark中RDD算子的介绍
2402_83590031的博客
05-07 785
比如，当函数返回的是一个集合时，`flatMap` 会把这些集合中的元素合并到新的RDD中。它对RDD中的每个元素应用一个函数，返回一个新的RDD，新RDD的元素是原RDD元素经过函数转换后的结果。（三）reduce算子 `reduce` 算子接收一个二元函数，对RDD中的元素进行聚合计算。上述代码中，`map` 将 `numbers` RDD中的每个数字平方，生成新的 `squaredNumbers` RDD。这里，`filter` 筛选出了 `numbers` RDD中的偶数。
Spark 处理过程转换：算子与行动算子详解
2301_80870395的博客
05-07 761
在大数据处理领域，Apache Spark 凭借其强大的分布式计算能力脱颖而出，成为处理海量数据的利器。而 Spark 的核心处理过程，主要通过转换算子和行动算子来实现。本文将深入探讨 Spark 中的转换算子和行动算子，帮助读者更好地理解和应用这些关键概念。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值