自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (2)
  • 收藏
  • 关注

原创 Hadoop-WordCount入门案例

ReadMeHadoop的MapReduce(简称MR),是一个基于HDFS的大规模数据集分布式并行计算框架。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组...

2020-04-14 19:16:24 200

原创 idea使用maven管理mr依赖

环境说明 当前idea版本为2019.2.1 x64 JDK环境为1.8配置步骤点击"Create New Project"创建一个项目,如下图所示。配置Maven依赖环境依赖关系可以从官方的源码中获取到。源码下载地址:[https://hadoop.apache.org/releases.html](https://hadoop.apache.org...

2020-04-14 18:55:40 297

原创 Hadoop-2.9.2版本完全分布式部署

服务器分布说明hadoop01hadoop02hadoop03NN1NN2-ZKFCZKFC-JNJNJNZKZKZKDNDNDN部署步骤检查阶段1. 检查环境是否安装了JDK、Zookeeper、Hadoop。2. 检查Hosts文件是否做了IP和主机名的映射关系3. 检查免密登录是否完成,测试三台服务器之间是否可...

2020-04-01 00:37:57 329

原创 Flume Nginx-HDFS 示例

1. 示例说明: i. 本示例中的source将使用nginx的方式来获取数据,将数据传输到hdfs分布式文件系统(使用的是伪分布式环境)上。 ii. 故,请检查系统中是否有相关环境)——Nginx、Hadoop、JDK、Flume iii.若没有请按照文档步骤进行配置。如有,请跳过2步骤。2. 准备环境 i. Linux(CentOS 7,环境如下:) 配置了静态IP地址(192...

2020-03-15 22:50:08 277

原创 Flume的安装及入门案例

安装FlumeFlume官方下载地址:http://flume.apache.org/download.html![在这里插入图片描述](https://img-blog.csdnimg.cn/20200315221753175.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6...

2020-03-15 22:24:33 190

JAVA1.8-windows版本.zip

现在Oracle下载软件就要注册,此文件提供给那些不想注册或不会注册的朋友,近似于失传的官方原版jdk。

2020-03-19

hadoop2.9.2windows环境包bin.zip

缺少winutils.exe回报如下错误: Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll 错误如下: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 解压文件,winutils.exe ,hadoop.dll两个文件都要copy放在hadoop/bin/目录下即可。

2020-03-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除