- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop-WordCount入门案例
ReadMe Hadoop的MapReduce(简称MR)，是一个基于HDFS的大规模数据集分布式并行计算框架。 概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组...
2020-04-14 19:16:24
200
原创 idea使用maven管理mr依赖
环境说明 当前idea版本为2019.2.1 x64 JDK环境为1.8 配置步骤 点击"Create New Project"创建一个项目，如下图所示。 配置Maven依赖环境 依赖关系可以从官方的源码中获取到。 源码下载地址：[https://hadoop.apache.org/releases.html](https://hadoop.apache.org...
2020-04-14 18:55:40
298
原创 Hadoop-2.9.2版本完全分布式部署
服务器分布说明 hadoop01 hadoop02 hadoop03 NN1 NN2 - ZKFC ZKFC - JN JN JN ZK ZK ZK DN DN DN 部署步骤 检查阶段 1. 检查环境是否安装了JDK、Zookeeper、Hadoop。 2. 检查Hosts文件是否做了IP和主机名的映射关系 3. 检查免密登录是否完成，测试三台服务器之间是否可...
2020-04-01 00:37:57
329
原创 Flume Nginx-HDFS 示例
1. 示例说明： i. 本示例中的source将使用nginx的方式来获取数据，将数据传输到hdfs分布式文件系统(使用的是伪分布式环境)上。 ii. 故，请检查系统中是否有相关环境）——Nginx、Hadoop、JDK、Flume iii.若没有请按照文档步骤进行配置。如有，请跳过2步骤。 2. 准备环境 i. Linux(CentOS 7，环境如下：) 配置了静态IP地址(192...
2020-03-15 22:50:08
277
原创 Flume的安装及入门案例
安装Flume Flume官方下载地址： http://flume.apache.org/download.html 
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人