python转spark demos

灵佑666

已于 2022-11-02 23:53:12 修改

阅读量527

点赞数

分类专栏： Spark Python 文章标签： spark python 大数据

于 2022-11-02 23:51:39 首次发布

本文链接：https://blog.csdn.net/onway_goahead/article/details/127661766

版权

这篇博客介绍了如何将Python代码转换为Spark应用，包括Test、UDFUtil和MathUtil三个关键部分，适合大数据处理的读者。

摘要由CSDN通过智能技术生成

1. Test

2. UDFUtil

3. MathUtil

1. Test



import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.junit.Test
import util.{MathUtil, UDFUtil}

/**
 * @author  
 * @version
 * @date 2020/5/5
 * @Description
 */
class PyToScala {

  val spark: SparkSession = SparkSession
    .builder()
    .appName("local-test")
    .master("local[4]")
    //.enableHiveSupport()
    .config("spark.shuffle.service.enabled", true)
    .config("spark.driver.maxResultSize", "4G")
    .config("spark.sql.parquet.writeLegacyFormat", true)
    .getOrCreate()

  import spark.implicits._

  spark.sparkContext.setLogLevel("WARN")

  @Test
  def testPyBinCount(): Unit = {
    /**
     * import numpy as np
     *
     * array = np.array([5, 4, 4])
     * bincount = np.bincount(array)
     * ps = bincount / np.sum(array)
     * # bin