![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
yiranlun3
这个作者很懒,什么都没留下…
展开
-
spark eclipse配置
val sc = new SparkContext("spark://192.168.1.24:7077", "wc",System.getenv("SPARK_HOME"), Seq("/home/xunw/mySpark.jar"))export原创 2014-07-15 19:26:02 · 537 阅读 · 0 评论 -
spark api学习
rdd 的foreach和map区别: sc = SparkContext(appName = "test") def f(x): print "----------------------"+str(x)+'\n' sc.parallelize([1, 2, 3, 4, 5]).foreach(f)原创 2014-06-30 14:16:50 · 532 阅读 · 0 评论 -
learning spark
本着牛哥“站在巨人的肩膀上”的理论,在捧Spark之前,要先捧一下她的前辈们。大数据系统中最核心的莫过于分布式处理框架,因为框架负责job执行的方方面面,如job分解、task调度与执行、错误容忍、数据流等等。较早(04年发表)也是最重要的贡献是Google的MapReduce框架,她将函数式编程思想引入到分布式数据处理中,仅仅用两个函数(map和reduce)就解决了一大类的大数据批处理问题,用转载 2014-06-12 09:40:48 · 937 阅读 · 0 评论 -
spark ml 学习资料
http://jerryshao.me/tags.html#spark-ref原创 2014-07-30 14:02:28 · 742 阅读 · 0 评论 -
spark 学习
The --master option specifies the master URL for a distributed cluster, or local to run locally with one thread, or local[N] to run locally with N threads.原创 2014-06-07 18:11:29 · 1053 阅读 · 0 评论 -
RDD原理
在这些特性中,最难实现的是容错性。一般来说,分布式数据集的容错性有两种方式:即数据检查点和记录数据的更新。我们面向的是大规模数据分析,数据检查点操作成本很高:需要通过数据中心的网络连接在机器之间复制庞大的数据集,而网络带宽往往比内存带宽低得多,同时还需要消耗更多的存储资源(在内存中复制数据可以减少需要缓存的数据量,而存储到磁盘则会拖慢应用程序)。所以,我们选择记录更新的方式。但是,如果更新太多,那转载 2014-08-20 20:19:15 · 765 阅读 · 1 评论 -
spark 调优
http://itindex.net/detail/51871-spark-rdd-%E6%A8%A1%E5%9E%8B原创 2015-05-02 19:41:13 · 396 阅读 · 0 评论