hadoop
less_ness
这个作者很懒,什么都没留下…
展开
-
Hadoop MapReduce工作流程(无Yarn模式)
https://blog.csdn.net/Athenaer/article/details/82039901、整体流程整体流程如下:1、运行mapred程序;2、本次运行将生成一个Job,于是JobClient向JobTracker申请一个JobID以标识这个Job;3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中。这些资源包括JAR包、配置...翻译 2019-04-27 15:58:45 · 439 阅读 · 0 评论 -
spark windows环境搭建
1、官网下载安装包或者编译包:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz2、解压到安装目录-自定义目录,配置环境变量3、安装java和scala;4、运行安装目录下的spark-shell:这个入口是scala;5、安装idea;6、配置idea开发环境:...原创 2019-06-10 19:05:59 · 168 阅读 · 0 评论