Hadoop
文章平均质量分 79
油腻大叔-AlexRomeo
这个作者很懒,什么都没留下…
展开
-
Hadoop-WordCount入门案例
ReadMeHadoop的MapReduce(简称MR),是一个基于HDFS的大规模数据集分布式并行计算框架。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组...原创 2020-04-14 19:16:24 · 225 阅读 · 0 评论 -
idea使用maven管理mr依赖
环境说明 当前idea版本为2019.2.1 x64 JDK环境为1.8配置步骤点击"Create New Project"创建一个项目,如下图所示。配置Maven依赖环境依赖关系可以从官方的源码中获取到。源码下载地址:[https://hadoop.apache.org/releases.html](https://hadoop.apache.org...原创 2020-04-14 18:55:40 · 339 阅读 · 0 评论 -
Hadoop-2.9.2版本完全分布式部署
服务器分布说明hadoop01hadoop02hadoop03NN1NN2-ZKFCZKFC-JNJNJNZKZKZKDNDNDN部署步骤检查阶段1. 检查环境是否安装了JDK、Zookeeper、Hadoop。2. 检查Hosts文件是否做了IP和主机名的映射关系3. 检查免密登录是否完成,测试三台服务器之间是否可...原创 2020-04-01 00:37:57 · 354 阅读 · 0 评论