Spark实战(1) 配置AWS EMR 和Zeppelin Notebook

SparkContext和SparkSession的区别，如何取用？

• SparkContext:
  • 在Spark 2.0.0之前使用
  • 通过资源管理器例如YARN来连接集群
  • 需要传入SparkConf来创建SparkContext对象
  • 如果要使用SQL，HIVE或者Streaming的API, 需要创建单独的Context

  •   val conf = new SparkConf()
      .setAppName(“RetailDataAnalysis”)
      .setMaster(“spark://master:7077”)
      .