【大数据开发】SparkCore、SparkSQL综合练习——对农产品数据进行分析

最新推荐文章于 2023-07-24 11:10:34 发布
最新推荐文章于 2023-07-24 11:10:34 发布
阅读量1.4k 收藏 12
点赞数
分类专栏： # Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37090394/article/details/109132605
版权

发现一个idea很神奇的功能，每次写一堆算子的时候，先在最后面写一个Action算子过去，然后再从中间开始写transformation算子，这个时候神奇的事情发生了，在每个算子后面会显示出灰色的返回值类型！！！

文章目录

一、数据背景

该数据每日进行采集汇总。数据范围涵盖全国主要省份（港澳台、西藏、海南暂无数据）的180+的大型农产品批发市场，380+的农产品品类（由于季节性和地域性等特点，每日的数据中不一定会涵盖全部的农产品品类）。

二、数据类型

农产品批发市场价格数据products.txt	
	中文名称			英文名称	数据类型
	农产品名称(列1)	name	string
	批发价格(列2)		price	float
	采集时间(列3)		craw_time	timestamp
	批发市场名称(列4)	market	string
	省份(列5)			province	string
	城市(列6)			city	string

三、功能要求

要求使用分别使用RDD、DataFrame两种方式实现

1、农产品市场个数统计
（省份，蔬菜，1）
1)统计每个省份的农产品市场总数
2)统计没有农产品市场的省份有哪些

2、农产品种类统计
1)根据农产品类型数量，统计排名前 3 名的省份
2)根据农产品类型数量，统计每个省份排名前 3 名的农产品市场

3、价格区间统计,计算山西省每种农产品的价格波动趋势，即计算每天价格均值，并将结果输出到控制台上。
某种农产品的价格均值计算公式：
PAVG = (PM1+PM2+…+PMn-max§-min§)/(N-2)
其中，P 表示价格，Mn 表示 market，即农产品市场。PM1 表示 M1 农产品市场的该产品价格，max§表示价格最大值，min§价格最小值。

四、SparkCore代码实现

4.1 农产品市场个数统计

4.1.1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * 1)统计每个省份的农产品市场总数
 */
object ByRdd_1_1 {

    private val sc: SparkContext = new SparkContext(new SparkConf().setMaster("local").setAppName("dataframe"))
    private val productRDD: RDD[String] = sc.textFile("src/file/test/products.txt")
    def main(args: Array[String]): Unit = {
        //1.按照一个或者多个tab键切割(\s匹配任何空白字符，包括空格、制表符、换页符等等)
        val provinceRDD: RDD[(String, String)] = productRDD.filter(_.split("\\s+").length == 6)
            .map(line => {
                val parts: Array[String] = line.split("\\s+")
                (parts(4), parts(3))
            })
        //2.去除重复数据，按照key分组计算
        val result: collection.Map[String, Long] = provinceRDD.distinct()
            .countByKey()

        for ((k, v) <- result) {
            println(s"省份：$k ,数量：$v")
        }
    }
}

4.1.2

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
 * 2)统计没有农产品市场的省份有哪些
 */
object ByRDD_1_2 {
    private val sc: SparkContext = new SparkContext(new SparkConf().setMaster("local").setAppName("dataframe"))
    private val productRDD: RDD[String] = sc.textFile("src/file/test/products.txt")
    private val allProvinceRDD: RDD[String] = sc.textFile("src/file/test/allprovinces.txt")

    def main(args: Array[String]): Unit = {
        //1.按照一个或者多个tab键切割(\s匹配任何空白字符，包括空格、制表符、换页符等等)
        val province: RDD[String] = productRDD.filter(_.split("\\s+").length == 6)
            .map(line => line.split("\\s+")(4))

        //2.读取省份信息

        val allProvinces: RDD[String] = allProvinceRDD.map(line => line.split("\\s+")(0))

        //3.求出省份
        val result: RDD[String] = allProvinces.subtract(province)
        result.foreach(println)
    }
}

4.2农产品种类统计

4.2.1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 *2、农产品种类统计
 *1)根据农产品类型数量，统计排名前 3 名的省份
 */

object ByRDD_2_1 {

    private val sc: SparkContext = new SparkContext(new SparkConf().setMaster("local").setAppName("dataframe"))
    private val productRDD: RDD[String] = sc.textFile("src/file/test/products.txt")

    def main(args: Array[String]): Unit = {

        //1.得到RDD[(省份, 种类)]
        val provinceAndType: RDD[(String, String)] = productRDD.filter(_.split("\\s+").length == 6)
            .map(line => {
                val parts: Array[String] = line.split("\\s+")
                (parts(4), parts(0))
            })

        //2.计算每个省份的种类和
        val sumRDD: RDD[(String, Int)] = provinceAndType.distinct().mapValues(_ => 1).reduceByKey(_ + _)

        sumRDD.sortBy(-_._2)
            .take(3)
            .foreach(println)
    }
}

4.2.2

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object ByRDD_3_1 {
    private val sc: SparkContext = new SparkContext(new SparkConf().setMaster("local").setAppName("dataframe"))
    private val productRDD: RDD[String] = sc.textFile("src/file/test/products.txt")

    def main(args: Array[String]): Unit = {

        //1.获取 RDD[((省份, 市场), 种类)]
        val provinceAndTypeRDD: RDD[((String, String), String)] = productRDD.filter(_.split("\\s+").length == 6)
            .map(line => {
                val parts: Array[String] = line.split("\\s+")
                ((parts(4), parts(3)),parts(0))
            })

        provinceAndTypeRDD.distinct()
            .mapValues(_ => 1)  //这一步可以在1.位置做
            .reduceByKey(_ + _)
            .map(t => (t._1._1, (t._1._2, t._2)))    //重新划分Rdd的类型
            .groupByKey()
            .mapValues(_.toList.sortBy(-_._2).take(3))
            .mapValues(_.map(_._1))     //去除数量，保留省份
            .foreach(println)
    }
}

4.3计算山西省每种农产品的价格波动趋势

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object ByRDD_3_2 {
    private val sc: SparkContext = new SparkContext(new SparkConf().setMaster("local").setAppName("dataframe"))
    private val productRDD: RDD[String] = sc.textFile("src/file/test/products.txt")

    def main(args: Array[String]): Unit = {
        // RDD[(农产品, 价格)
        val nameAndPriceRDD: RDD[(String, Double)] = productRDD.filter(_.split("\\s+").length == 6)
            .map(line => {
                val productInfo: Array[String] = line.split("\\s+")
                (productInfo(4), productInfo(0), productInfo(1).toDouble)
            })
            .filter(_._1.equals("山西"))
            .map(t => (t._2, t._3))

        nameAndPriceRDD
            .groupByKey()
            .map(t => {
                if (t._2.size>2)
                    (t._1, ((t._2.sum - t._2.max - t._2.min)/t._2.size).formatted("%.2f"))
                else
                    (t._1, (t._2.sum/t._2.size).formatted("%.2f"))
            })       // 农产品分类
            .foreach(println)

    }

}

五、SparkSQL代码实现

import exam03.common._
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

/**
 *
 * 1、农产品市场个数统计
 *      1)统计每个省份的农产品市场总数
 *      2)统计没有农产品市场的省份有哪些
 * 2、农产品种类统计
 *      1)根据农产品类型数量，统计排名前 3 名的省份
 *      2)根据农产品类型数量，统计每个省份排名前 3 名的农产品市场
 * 3、价格区间统计,计算山西省每种农产品的价格波动趋势，即计算每天价格均值，并将结果输出到控制台上。
 *
 */
object MainApplication extends App {
    // 1. 获取SparkSession
    private val spark: SparkSession = SparkHelper.getSparkSession
    import spark.implicits._
    import org.apache.spark.sql.functions._
    // 2. 创建DF
    private val productsDF: DataFrame = {
        spark.read.option("delimiter", "\t").csv(Constants.PATH_PRODUCTS)
            .withColumnRenamed("_c0", "name")
            .withColumnRenamed("_c1", "price")
            .withColumnRenamed("_c2", "craw_time")
            .withColumnRenamed("_c3", "market")
            .withColumnRenamed("_c4", "province")
            .withColumnRenamed("_c5", "city")
            .na.drop()  // drop掉null值
    }
    private val provincesDF: DataFrame = {
        spark.read.option("delimiter", "\t").csv(Constants.PATH_PROVINCES)
            .withColumnRenamed("_c0", "province")
            .withColumnRenamed("_c1", "short_hand")
            .na.drop()
    }

    // 3. 题目实现
    // 3.1. 统计每个省份的农产品市场总数
    productsDF.select("market", "province").distinct().groupBy("province").count().show()
    // 3.2. 统计没有农产品市场的省份有哪些
    private val existsProvinceDF: Dataset[Row] = productsDF.select("province", "market").distinct()
    private val allProvinceDF: Dataset[Row] = provincesDF.select("province").distinct()
    existsProvinceDF.join(allProvinceDF, Seq("province"), "right")
        .filter("market is null")
        .drop("market")
        .show()

    // 3.3. 根据农产品类型数量，统计排名前 3 名的省份
    productsDF.select("name", "province")
        .groupBy("province")
        .agg(countDistinct("name").as("count"))
        .orderBy(-'count)
        .limit(3)
        .show()

    // 3.4. 根据农产品类型数量，统计每个省份排名前 3 名的农产品市场
    productsDF.select("name","market","province")
        .groupBy("province","market").count()
        .orderBy($"province",$"count".desc)
        .repartition(provincesDF.count.asInstanceOf[Int],$"province")
        .foreachPartition(it=>{it.take(3).foreach(println)})

    // 3.5. 计算山西省的每种农产品的价格波动趋势，即计算每天价格均值
    productsDF.filter("province='山西'")
        .groupBy("craw_time","name")
        .agg(when(count($"price")>2,((sum($"price")-max($"price")-min($"price"))/(count($"price")-2)))
            .otherwise(sum($"price")/count($"price"))
            .as("pavg"))
        .selectExpr("craw_time","name","cast(pavg as decimal(20,2)) as pavg")
        .show()
}

六、业务数据

products.txt

茄子	3.20	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
西红柿	4.20	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
黄瓜	4.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
冬瓜	2.20	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
白萝卜	1.40	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
胡萝卜	1.60	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
生姜	12.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
豆角	6.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
香蕉	6.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
猪肉	21.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
鸡蛋	8.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
土豆	2.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
菜花	3.20	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
洋白菜	2.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
大蒜	3.80	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
生菜	5.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
西葫芦	3.20	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
西瓜	5.80	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
活鲤鱼	12.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
茴香	4.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
香菇	8.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
菠菜	3.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
小葱	1.40	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
富士苹果	6.00	2018/1/1	河北怀来县就西果菜批发市场有限责任公司	河北	怀来
活草鱼	14.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
活鲫鱼	14.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
黑鱼	20.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
花鲢活鱼	12.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
白鲢活鱼	8.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
野生甲鱼	420.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
人工甲鱼	160.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
江蟹	180.00	2018/1/1	江苏建湖县水产批发市场	江苏	建湖
大白菜	0.70	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
洋白菜	2.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
韭菜	3.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
芹菜	2.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
菠菜	3.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
油菜	1.20	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
菜花	3.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
蒜苔	8.60	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
生菜	5.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
黄瓜	3.40	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
豆角	7.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
长茄子	2.80	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
尖椒	5.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
青椒	4.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
西红柿	3.60	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
良薯	3.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
红萝卜	1.20	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
白萝卜	1.60	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
冬瓜	1.10	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
南瓜	6.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
莴笋	4.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
西葫芦	3.20	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
葱头	1.40	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
莲藕	3.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
大葱	3.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
平菇	4.60	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
香菇	7.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
苹果	8.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
香蕉	6.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
西瓜	2.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
巨峰葡萄	8.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
猪肉	21.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
牛肉	48.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
羊肉	46.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
鸡蛋	9.60	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
白条鸡	17.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
活草鱼	14.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
活鲤鱼	10.50	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
白鲢活鱼	16.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
花鲢活鱼	14.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
活鲫鱼	13.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
大带鱼	19.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
大黄花鱼	25.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
粳米	4.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
面粉	2.90	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
菜油	12.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
豆油	10.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
花生油	16.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
香油	30.00	2018/1/1	山西大同振华蔬菜批发市场	山西	大同
大白菜	0.90	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
生菜	2.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
大葱	2.80	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
小葱	3.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
大蒜	4.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
鱼腥草(折耳根)	4.40	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
尖椒	7.60	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
黄瓜	3.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
冬瓜	1.10	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
南瓜	2.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
白萝卜	1.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
胡萝卜	2.60	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
土豆	2.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
生姜	9.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
莲藕	5.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
富士苹果	6.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
香蕉	3.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
猪肉	23.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
洋白菜	1.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
豌豆	5.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
蒜苔	6.80	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
西红柿	4.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
条形辣椒干（小米椒）	22.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
莴笋	1.40	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
菜花	2.60	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
芹菜	3.00	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
青椒	5.40	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
茄子	4.20	2018/1/1	四川西昌广平农副土特产品市场	四川	西昌
大白菜	1.00	2018/1/1	浙江义乌农贸城	浙江	义乌
芹菜	2.60	2018/1/1	浙江义乌农贸城	浙江	义乌
菠菜	3.60	2018/1/1	浙江义乌农贸城	浙江	义乌
大葱	3.20	2018/1/1	浙江义乌农贸城	浙江	义乌

allprovince.txt

河北	HE
山西	SX
辽宁	LN
吉林	JL
黑龙江	HL
江苏	JS
浙江	ZJ
安徽	AH
福建	FJ
江西	JX
山东	SD
河南	HA
湖北	HB
湖南	HN
广东	GD
海南	HI
四川	SC
贵州	GZ
云南	YN
陕西	SN
甘肃	GS
青海	QH
台湾	TW
内蒙古	IM
广西	GX
西藏	XZ
宁夏	NX
新疆	XJ
香港	HK
澳门	MO
天津	TJ
北京	BJ
重庆	CQ
上海	SH
这个妹妹我见过
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
《Spark 7》--降水量案例、spark-submit部署应用、Spark 共享变量、Spark调优
yk_3215123的博客
08-06 417
降水量案例： 计算俄罗斯100多年的降水总量，并列出降水量最多的十年，并显示排序号 结果： (1,(1966,114478.89999999496)) (2,(1981,113176.20000000035)) (3,(1978,111155.00000000023)) (4,(1990...
大数据Spark技术数据分析综合实验
最新发布
06-25
上传的GPS点作为分析对象，使用Kmeans把出租车轨迹点聚类,找出出租车出现密集的地方，并用地图的方式进行可视化展示。 实验内容： (1) 数据的准备。 (2)创建DataFrame。 (3)使用kmeans聚类。 (4)聚类结果可视化。 ...
基于Spark的农产品分析系统
Gopuwe的博客
04-09 5056
本篇文章为大学毕业实习项目-基于Spark的农产品分析系统的文档，从搭建环境到代码编写以及成果展示。 Hadoop环境搭建 集群规划 服务器IP 192.168.18.101 192.168.18.102 192.168.18.103 主机名 hadoop01 hadoop02 hadoop03 NameNode 是 否 否 SecondaryNameNode 是 否 否 dataNode 是 是 是 ResourceManager 是 否 否 NodeManager 是
SparkSQL与Structured Streaming 综合练习题[史上最详细的代码题50道练习题]强烈推荐!!!!!!!!!!!!!!
04-24 4638
1.使用Structured Streaming读取Socket数据，把单词和单词的反转组成 json 格式写入到当前目录中的file文件夹中 package com.wzy.code.code01 import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, Dataset, Spar...
基于大数据的农产品价格数据分析
qq_60320555的博客
06-10 1164
基于大数据的农产品价格分析系统，部署在虚拟机上面，配置了hadoop和sprak等环境
Spark综合学习笔记（二十二）SparkSQL实战4-花式查询
斯特凡今天也很帅的博客
11-29 522
SparkSQL花式查询 在Spark5QL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供了两种方式分析处理数据: 1、SQL编程，将DataFrame/Dataset注册为临时视图或表，编写SQL语句，类似HiveQL; 2、DSL (domain-specific language)编程，（类似于面向对象）调用DataFrame/Dataset APIl(函数），类似RDD中函数; 需求: 针对personDF中的数据使用SQL和DSL两种方式进行各种查询 运行结果
大数据Spark YarnCluster模式源码分析——提交任务2（手把手看源码）
01-07
上一篇博文，我们看了在Yarn Cluster模式下，从Spark-submit提交任务开始，到最后启动了ExecutorBackend线程，也就是进行到了图中的第9步。 上一篇博文地址：...
摸鱼大数据-Spark Core-RDD综合案例
06-23
点击流数据源
Spark大型项目实战：电商用户行为分析大数据平台开发实战
07-12
4、项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了需求分析、方案设计、数据设计、编码实现、功能测试、性能调优等环节，真实还原企业级大数据项目开发场景。 模块简介： 1、...
摸鱼大数据-Spark Core-RDD综合案例-搜狗搜索流
06-23
搜狗搜索流
用spark分析北京积分落户数据数据资料包
10-16
用python spark 对2018年北京积分落户人员名单，以及对人员年龄、星座、生肖、身份证号所在省份、城市分析。
Spark综合学习笔记（二十七）SparkSQL整合Hive-1 SparkSQL命令行
斯特凡今天也很帅的博客
11-30 1406
学习致谢 [ https://www.bilibili.com/video/BV1Xz4y1m7cv?p=64](https://www.bilibili.com/video/BV1Xz4y1m7cv?p=64) HiveOnSpark和SparkOnHive ·HiveOnSpark: SparkSql诞生之前的Shark项目使用的，是把Hive的执行引擎换成Spark,剩下的使用Hive的，严重依赖Hive，早就淘汰了没有人用了 ·SparkOnHive: SparkSQL诞生之后，Spark提出的，是
spark案例解析（全国农产品市场与省份）
Imflash的博客
10-09 1714
需求 (一) 数据描述 1、数据参数 该数据每日进行采集汇总。数据范围涵盖全国主要省份（港澳台西藏海南暂无数 据）的 180+的大型农产品批发市场，380+的农产品品类（由于季节性和地域性 等特点，每日的数据中不一定会涵盖全部的农产品品类）。 2、数据类型 （二）功能需求 1、农产品市场个数统计 统计每个省份的农产品市场总数 统计没有农产品市场的省份有哪些 2、农产品种类统计 根据农产品类...
spark降水量案例
Geek白先生的博客
09-13 686
计算俄罗斯100多年的降水总量，并列出降水量最多的十年； 数据说明： 【20674 1936 1 1 0 -28.0 0 -24.9 0 -20.4 0 0.0 2 0 OOOO】 0.气象站编码 1.年 2.月 3.日 4.空气温度质量标记 5.每日最低温度 6.每日最低温度标记：0表示正常，1表示是存疑，9表示异常或无观测值 7.每日平均温度 8.每日平均温度标记：0表示正常，1...
spark大数据分析:spark core(5) action算子
张不帅
08-09 392
文章目录collectfirsttaketoptakeOrderedreduceaggregatefoldforeachforeachPartitioncount键值对操作lookupcountByKey数值行动操作 行动算子会触发spark RDD 的一系列操作,action操作不会生成新的RDD,而是将RDD中封装输出到scala类型的实例中或直接到外部存储系统中,将RDD 中数据输出到外部系统中也是action操作,这里不做介绍 collect 将RDD转换为array 数组 源码 /**
spark+农产品+预测+可视化
weixin_45769113的博客
07-24 335
spark+农产品+预测+可视化，此系统有详细的录屏，下面只是部分截图，需要看完整录屏联系博主。系统开发语言python，框架为django，数据库mysql，分为爬虫和可视化分析。
大数据系列之SparkCore应用解析（二)
qq_30003943的博客
08-09 346
文章目录第1章 RDD概念1.1 RDD为什么会产生1.2 RDD概述1.2.1 什么是RDD1.2.2 RDD的属性1.3 RDD弹性1.4 RDD特点1.4.1 分区1.4.2 只读1.4.3 依赖1.4.4 缓存1.4.5 checkpoint第2章 RDD编程2.1 编程模型2.2 创建RDD2.3 RDD编程2.3.1 Transformation2.3.2 Action2.3.3 数值RDD的统计操作2.3.4 向RDD操作传递函数注意2.3.5 在不同RDD类型间转换2
spark-core 分析电影数据
qq_38613244的博客
09-06 651
spark-core 分析电影数据 数据下载地址 http://files.grouplens.org/datasets/movielens/ml-1m.zip 数据说明 users.dat UserID::Gender::Age:Occupation:Zip-code 用户号::性别：年龄：职业：邮政编码 movies.dat MovieID::Ti...
spark小案例——RDD,sparkSQL
weixin_45399602的博客
10-10 1481
分别使用RDD和SparkSQL两种方式解决相同的数据分析问题； 项目数据 项目需求 使用RDD和SQL两种方式对数据清洗 清洗需求如下： 统计每个店铺分别有多少商品 统计每个店铺的总销售额 统计每个店铺销售额最高的前三商品，输出内容包括：店铺名，商品名和销售额其 中销售额为0的商品不进行统计计算，例如：如果某个店铺销售为 0则不进行统计 。 涉及到的pom依赖 <properties> <scala.version>2.12.10</scala.versio
Spark大数据课设：气象数据处理与分析实战
"本资源为一个关于大数据期末课设的报告，主要探讨了基于Spark的气象数据处理与分析。报告涵盖了项目背景、数据获取、数据分析、数据可视化和总结等内容。在Spark 2.4.0环境下，使用Python 3.9和Jupyter Notebook...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值