![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
普通网友
这个作者很懒,什么都没留下…
展开
-
Spark学习笔记
前面学习了hadoop,在学习spark的时候,比较不解,spark是专门用来计算的框架,而hadoop可以用来分布式存储也可以通过MR来进行计算,spark虽然跟hadoop没有什么关系,但是spark其实是在hadoop上面做了优化,hadoop把中间写过卸载磁盘中,而spark把中间结果写在内存中,因此spark的计算更加快。 spark的计算是基于RDD的,RDD其实是一个链表类似的数据。原创 2016-11-09 16:20:13 · 323 阅读 · 0 评论 -
spark初步学习
nohup /opt/app/spark-2.0.1/bin/spark-submit --master yarn --num-executors 200 --executor-cores 6 --executor-memory 12g ./test_spark.py > log.txt 2>&1 & nohup /opt/app/spark-2.0.1/bin/...转载 2019-03-28 20:22:39 · 195 阅读 · 0 评论