sparkcore
_bukesiyi
这个作者很懒,什么都没留下…
展开
-
再探spark之二
spark的cache缓存其中的方法 (保存在内存中) .cache() //进行缓存.unpresist(true) //对资源进行释放spark的checkpoint机制(保存在hdfs中)(checkpoint和cache都属于transformation 需要action才能执行)sc.setCheckpointDir("hdfs://hadoop01:9000/ck2018523")v...原创 2018-05-24 17:25:08 · 455 阅读 · 0 评论 -
再探spark之一(复习之前)加spark如何实现远程调试代码
没启动spark的话。可以通过 sbin/start-all.sh 来启动spark按crtl+c来终止任务,而不是ctrl+zspark-shell --master spark://192.168.235.128:7077 连接到spark上 spark-shell --master spark://192.168.235.128:7077 --total-executor-cores 3 ...原创 2018-05-15 18:30:26 · 561 阅读 · 0 评论