大数据
汤圆暗恋饺子
专心走自己的路!!!
展开
-
spark漫谈二
一、几种提交方式的区别1.local模式1)怎么开启local模式?几乎不用修改任何配置,就是local模式。2)怎么进入local模式?执行spark-shell、spark-submit、spark-sql时,如果指定–master的参数为local或者不指定–master,即使项目已经部署成standalone等模式,都会进入local模式。此外:开启spark-shell、spark-sql会相当于开启一个spark应用,实质会开启一个sparkSubmit进程,同时可以通过4040端口原创 2021-04-08 23:11:03 · 259 阅读 · 0 评论 -
spark漫谈一
在IT的世界,技术种类繁杂,多如牛毛,每当我们遇到一种技术时,如何快速有效地学习并掌握技术,是每一个IT从业人员必须要面对的问题。在我看来,在学习任何一种技术时,有一个问题是值得我们先提问和思考的,那就是”为什么这种技术会出现?“。因为只有当我们认真严肃地去思考这个问题时,我们才会豁然开朗地发现,原来任何一种技术的出现,都有其特殊的需求和特定的背景。 以分布式计算框架spark为例,在其出现之前,世面上已经有分布式计算框架Mapreduce的存在。但是MapReduce存在自身无法克服的一些...原创 2021-03-28 21:44:36 · 207 阅读 · 0 评论