hadoop&spark
文章平均质量分 80
世界沉浮脚下
一个人的生活无聊
展开
-
Hadoop2.8.2+Spark2.1.2 完全分布式环境 搭建全过程
一、修改hosts文件在主节点,就是第一台主机的命令行下;vim /etc/hosts我的是三台云主机:在原文件的基础上加上;ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点。二、ssh互信(免密码登录)注意我这里配...原创 2018-02-26 23:13:17 · 261 阅读 · 0 评论 -
7个实例全面掌握Hadoop MapReduce
MapReduce 基本原理是什么?MapReduce 的执行过程是怎么样的?MapReduce 的核心流程细节如何进行 MapReduce 程序开发?(通过7个实例逐渐掌握)文章中提供了程序实例中涉及到的测试数据文件,可以直接下载使用。关于实践环境,如果您不喜欢自己搭建Hadoop环境,可以下载使用本教程提供的环境,实践部分内容中会介绍具体使用方法。通过学习并实践完成后,可以对 MapReduc...转载 2018-03-05 00:57:49 · 489 阅读 · 0 评论