关闭

SparkSQL演示

//启动spark-shell bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g//RDD演示 val sqlContext= new org.apache.spark.sql.SQLContext(sc) import sqlContext._case class Person(name:String,age:In...
阅读(84) 评论(0)

Spark编程

//parallelize演示 val num=sc.parallelize(1 to 10) val doublenum = num.map(_*2) val threenum = doublenum.filter(_ % 3 == 0) threenum.collect threenum.toDebugStringval num1=sc.parallelize(1 to 10,6) val do...
阅读(75) 评论(0)
    个人资料
    • 访问:893837次
    • 积分:13005
    • 等级:
    • 排名:第1092名
    • 原创:307篇
    • 转载:439篇
    • 译文:56篇
    • 评论:93条
    博客专栏
    文章分类
    打赏
    如果你觉得我的文章对您有用,请随意打赏。 微信 支付宝