Spark系列文章列表

最新推荐文章于 2024-10-13 17:53:10 发布
最新推荐文章于 2024-10-13 17:53:10 发布
阅读量176 收藏
点赞数
分类专栏： spark 文章标签： spark
孤独人生
关注
专栏目录
Spark系列文章专栏
lwgzj的博客
07-05 262
由于之前一直从事互联网的Java开发工作。技术有了一定积累并且自己的知识图谱有关互联网的部分积累比较多了。但是一直就是大数据部分没有机会接触到。刚好最近公司有大数据方向的机会，因此借此机会，积累一些大数据部分的图谱。下面就是系列文章： Spark（一）安装 ...
沃趣科技魏兴华：ASM 12C 核心新特性和工作原理
07-18
ASM被誉为好的集群文件系统和卷管理器，听众通过对本次主题的学习可以了解到ASM 12C版本的新特性，以及一些核心技术的工作原理，具备这些知识后，可以指导DBA更好的完成运维和故障处理工作，指导架构师更好的设计集群的架构，提高集群的可维护性和高可用性。
Spark 实战，第 6 部分: 基于 Spark ML 的文本分类
清晨随笔
12-25 5280
本文将通过一个手机短信分类预测的案例向读者介绍文本分析的基本步骤和方法，实现上将使用 Spark ML 的多层感知器分类器及 Word2Vec 文本向量化工具，通过本文的阅读，读者会学习到使用 Spark ML 进行文本分析处理的基本方法和相关工具，为进一步深入研究和学习打下基础。
基于的朴素贝叶斯的文本分类（附完整代码(spark/java）
但行好事，莫问前程
06-20 7330
本文主要包括以下内容： 1）模型训练数据生成（demo） 2 ) 模型训练（spark+java）,数据存储在hdfs上 3）预测数据生成（demo） 4）使用生成的模型进行文本分类。
Spark 3.x系列文章
Young2018的博客
09-28 723
Spark 3.0版本从2020年6月份正式发版以来，已经过了一个季度了，其稳定版本也在 9月份release了。 Spark SQL 3的性能强劲，且很好的兼容了Hive的各个版本，可以选其作为ETL的工具，替代Hive，更加有效的利用好资源。 Spark3.x的系列文章主要是用来记录Spark3在各种场景下的使用，期望可以供也期望使用强大的Spark引擎的各位小伙伴一些案例参考，一同的用好开源软件。 这个系列文章的列表如下: 1.Spark3.0.1 结合CDH6.1.0 编译打包 我将.
Spark系列之Spark的RDD详解
luoyepiaoxue2014的博客
11-28 3937
Spark系列之Spark的RDD详解
【Spark系列3】RDD源码解析实战
qq_33592535的博客
01-28 1235
RDD：弹性分布式数据集，Resillient Distributed Dataset的缩写。个人理解：RDD是一个容错的、并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区。同时RDD还提供一组丰富的API来操作它。本质上，RDD是一个只读的分区集合，一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以互相依赖。
【Spark床头书系列】Spark提交任务官网权威详解
wang2leee的博客
10-10 141
`bin`目录中的`spark-submit`脚本用于在集群上启动应用程序。它可以通过统一接口使用所有支持的[集群管理器](https://spark.apache.org/docs/latest/cluster-overview.html#cluster-manager-types)，因此您不必为每个管理器单独配置应用程序。
Spark联系人列表的加载
10-16
本篇文章将深入探讨Spark中联系人列表的加载流程及其相关的组管理操作。 #### “jabber:iq:roster”命名空间 在Spark中，联系人列表（也称作名册）的管理主要依赖于“jabber:iq:roster”命名空间提供的机制。这一...
Spark
qq_54103767的博客
01-06 1116
可以使用persist()方法将一个RDD标记为持久化。之所以说“标记为持久化”，是因为出现persist()语句的地方，并不会马上计算生成RDD并把它持久化，而是要等到遇到第一个Action操作触发真正计算以后，才会把计算结果进行持久化。中的data用来指定创建DataFrame对象的数据，可以是RDD、Python的列表list或Pandas的DataFrame对象；schema用来指定DataFrame的数据模式，可以是pyspark.sql.types类型指定的字段名和字段名数据类型的列表。
【spark原理系列】 broadcast广播原理优缺点示例源码权威讲解
wang2leee的博客
11-22 1251
spark broadcast广播原理优缺点示例源码权威讲解
【spark床头书系列】如何在YARN上启动Spark官网权威详解说明
wang2leee的博客
10-10 413
在YARN上可以使用两种部署模式来启动Spark应用程序。在 `cluster` 模式下，Spark driver 在由YARN在集群上管理的应用程序主进程中运行，客户端在启动应用程序后可以退出。在 `client` 模式下，driver 在客户端进程中运行，应用程序主进程仅用于从YARN请求资源
Spark MLlib 特征工程系列—特征提取 TF-IDF
08-15 4855
TF-IDF 是文本分类、聚类、信息检索等任务中的一种常见特征提取方法。通过降低常见词汇的权重，TF-IDF 能够更有效地捕捉那些对文档区分度更高的词汇，从而提高模型的效果。IDF 是 TF-IDF 中的重要组成部分，用于调整词频，以减少常见词对文本分析任务的影响。在 Spark 中，可以结合 HashingTF 或 CountVectorizer 来计算 TF-IDF 特征，进而用于各种机器学习任务。
Spark高级用法-内置函数
weixin_58305115的博客
10-13 437
2）实现case when 效果判断。4）从指定字段中取当前行最大的一个值。1）获取当前的日期时间和unix时间。1）实现if 效果判断。2）将日期转为时间戳。3）将时间戳转为日期。
SparkSubmit进程无法强制kill掉以及Flink相关error
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
10-07 820
SparkSubmit进程无法强制kill掉以及Flink相关error：Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.commons.collections.map.LinkedMap to field org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.pendingOffsetsToCommit of type
python中paramiko插件
最新发布
10-13
这是pjython中最重要的一个插件，所以我们要先下载到csdn中
fastcache-1.1.0-cp38-cp38-win_amd64.whl
10-13
fastcache-1.1.0-cp38-cp38-win_amd64.whl
spark举例说明列表的应用
09-14
Apache Spark是一个快速的分布式计算系统，它提供了丰富的数据结构和操作来处理大规模数据集。在Spark中，列表（List）通常是通过RDD（弹性分布式数据集）或其他Spark集合类型来操作的。这里我给出一个简单的例子来说明列表在Spark中的应用： 假设我们有一个CSV文件，其中包含一系列的数字，我们想要计算这些数字的平均值。以下是使用Spark的Scala API实现的示例代码： ```scala import org.apache.spark.{SparkConf, SparkContext} object SparkListExample { def main(args: Array[String]): Unit = { // 创建Spark配置和Spark上下文 val conf = new SparkConf().setAppName("List Example").setMaster("local") val sc = new SparkContext(conf) // 读取数据文件并创建一个RDD val numbersRDD = sc.textFile("path/to/numbers.csv") // 将文本行转换为数字列表 val numbersList = numbersRDD.map(_.split(",").map(_.toDouble)).collect() // 将所有数字转换为一个扁平化的列表 val flatList = numbersList.flatten // 计算列表的平均值 val total = flatList.sum val count = flatList.length val average = total / count println(s"The average number is: $average") // 停止Spark上下文 sc.stop() } } ``` 在这个例子中，我们首先创建了一个Spark上下文（`SparkContext`），然后读取了一个名为`numbers.csv`的CSV文件，并将其内容加载为一个RDD。接着，我们使用`map`操作将每一行文本拆分成数字，并将它们收集到一个列表中。然后，我们使用`flatten`操作将嵌套的列表转换为一个扁平的列表。最后，我们计算这个列表的总和和长度，从而得到平均值，并打印出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值