supersyd的专栏

vi test.txt this is 1st line we have 2nd line too val tf = sc.textFile("test.txt") //操作1 var mapResult=tf.map(line=>line.split("\\s+")) -- Array[Array[String]] = Array(Array(this,is,1st,line

Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark SQL、Spark Streaming、MLlib、GraphX、Spa

1. aggregateByKey的运行机制     /**    * Aggregate the values of each key, using given combine functions and a neutral "zero value".    * This function can return a different result type, U, than the typ

spark  K: key V:value C:collection