Spark
因渺小而伟大
努力不一定会带来改变,但可能是一个让你变得‘好一点’的机会,虽然有时看着那些比你聪明还比你优秀的人确实会觉得不公平,但笨一点没关系,慢一点也无所谓,反正每前进一点就甩掉了几个比你不行的人,前方有路,身后有人,能吃能睡,至少还活着,就都有可能。
展开
-
持久化算子
cachecache()=persist()=persist(StroageLevel.MEMROY_ONLY)persist 可以手动的指定持久化的级别persist(StorageLevel.MEMORY_ONLY)MEMORY_ONLY_SERMEMORY_AND_DISKMEMORY_AND_DISK_SER注意:尽量避免使用DISK_ONLY级别尽量避免使用...原创 2020-01-15 12:44:12 · 164 阅读 · 0 评论 -
Dataframe保存文件
网上查看了Dataframe如何把结果保存成文件经过尝试都以失败告终,大多数的博客上写的都是使用:在spark-shell模式下 先导入 import org.apache.saprk.sql.SaveMode 的包,然后 result.repartitione(1).save("…/out.json",“json”,SaveMode.Overwrite) 这样的方式来保存结果,我无论怎么尝试都是...原创 2020-01-14 12:33:50 · 1613 阅读 · 0 评论