- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark RDD方法实操
创建rdd4，先用filter()方法过滤去除100以下的数据，再用distinct()方法去重输出。创建g_rdd1，用groupByKey()方法对具有相同的值进行分组，将相同键的值的数量输出。创建rdd6，先用distinct()方法去再用cartesian()方法输出笛卡尔积。创建rdd1与rdd2，用union()方法合并rdd1与rdd2放在rdd3中。创建rdd1与rdd2，用union()方法合并rdd1与rdd2放在rdd4中。创建rdd5，用filter()方法过滤去除3以下的数据。
2024-05-13 12:13:01
783
1
原创 了解spark框架及运行原理
所有Stage都完成后作业结束。aggregate(zeroValue, seqOp, combOp): 使用给定的函数对 RDD 的元素进行聚合，seqOp 计算在分区中初始值到中间结果的聚合计算，而 combOp 在节点上对中间结果进行聚合。union(otherRDD): 返回对输入 RDD 和参数 RDD 执行联合操作的结果，生成一个新的 RDD，不去重。窄依赖：表现为一个父RDD的分区对应于一个子RDD的分区或者多个父RDD的分区对应于一个子RDD的分区。
2024-05-13 12:06:46
442
1
原创 终极核心大数据技术之认识spark
比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase和Cassandra等。RDD是一个抽象的概念，一个逻辑上的数据结构，中文全称是弹性分布式数据集，最直接的理解就是一个大的dataframe——这个dataframe可能是所有机器上原始数据的总和，也可能是中间计算到某一步得到的一个中间结果形成的dataframe。有些人说Spark的出现代表着Hadoop的死亡，这个观点我是不认同的。
2024-03-04 15:00:05
695
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人