- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark
combineByKey0方法用于将键相同的数据合并，并且允许返回与输人数据的类型不同的返回值，c。zip()方法：用于将两个RDD组合成键值对RDD,要求两个RDD的分区数量以及元素数。1.已存在的RDD调用toDF()方法转换得到DataFrame。collect()/collectAsList():获取所有数据。reduceByKey()方法：合并具有相同键的值。groupByKey():对具有相同键的值进行分组。where()方法：查询符合指定条件的数据。2.把已有的RDD转化为新的RDD。
2024-05-13 12:15:17
240
原创 Spark编程基础
第二种方式生成的RDD中保存的是T的值，Seq[String]部分的数据会按照Seq[(TSeq[Stringl)]的顺序存放到各个分区中，一个Seq[String]对应存放至一个分区，并为数据提供位置信息，通过preferredLocations)方法可以根据位置信息查看每一个分区的值。调用 makeRDD()时不可以直接指定RDD的分区个数，分区的个数与Seq[Stringl参数的个数是保持一致的。若不设分区数，则RDD的分区数默认为该程序分配到的资源的CPU核心数。使用map()方法转换数据。
2024-05-08 15:11:31
141
原创 Spark大数据技术与应用
非结构化数据一般指大家文字型数据，但是数据中有很多诸如时间，数字等的信息。内建功能：Spark提供了丰富的内建功能，如机器学习库（MLlib）、图计算库（GraphX）和流处理库（Spark Streaming）等，这些功能使得Spark在数据处理和分析方面更加强大和灵活。Spark的中间数据存放于内存中，有更高的迭代运算效率，而Hadoop mapreduce的中间数据存放于HDFS中，涉及硬盘的读写，运算效率相对较低。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。
2024-03-04 15:00:23
608
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人