hadoop
慵懒的程序猿007
这个作者很懒,什么都没留下…
展开
-
WordCount案例及MapReduce运行的三种方式
目录一、MapReduce案例准备二、运行方式一:本地执行三、运行方式二:打jar包,集群执行四、运行方式三:以idea为入口,集群执行一、MapReduce案例准备在Idea中创建一个MapReduce工程,对指定目录下文件的单词个数进行统计。MapReduce框架在使用时,需要编写三个类:CountDriver,CountMapper,CountReducer。其中CountDriver为最终的执行类;CountMapper继承Mapper类,重写map方法,实现Map阶段.原创 2020-05-21 16:05:22 · 575 阅读 · 0 评论 -
hadoop完全分布式集群搭建
序:相关软件一、前期准备二、jdk,hadoop安装、配置2.1、jdk、hadoop安装2.2、配置jdk、hadoop环境变量三、编写集群分发脚本,完成其他服务器的jdk、hadoop安装与配置四、集群配置规划五、完全分布式属性配置5.1、core-site.xml5.2、hdfs-site.xml5.3、yarn-site.xml5.4、mapred-site.xml5.5、workers5.6、集群配置同步六、ssh无密登录配置七、集群启动原创 2020-05-18 10:13:51 · 432 阅读 · 0 评论 -
hadoop伪分布式运行环境搭建
序:相关软件版本一、前期准备二、需要修改的配置三、配置修改过程3.1、环境变量设置,将JAVA变量增加到hadoop变量中3.2、配置core-site.xml3.3、配置hdfs-site.xml3.4、配置yarn-site.xml3.5、配置mapred-site.xml,指定job在yarn上运行四、启动伪分布式集群4.1、格式化namenode (第一次启动前进行格式化,之后尽量不要格式化)4.2、启动namenode、datenode4.3、启动r原创 2020-05-16 16:14:40 · 518 阅读 · 0 评论