排序:
默认
按更新时间
按访问量

Hadoop权威指南---MapReduce的类型与格式

目录 1、MapReduce的类型简介 2、 输入格式  2.1、输入分片与记录  1)、FileInputFormat类 2)、FileInputFormat类的输入路径 3)、FileInputFormat类的输入分片 4)、小文件和combineFileInputFormat ...

2018-09-23 12:01:24

阅读数:7

评论数:0

Hadoop权威指南---MapReduce应用开发

目录 1、打包作业  2、 启动作业  3、 MapReduce的Web界面  3.1、资源管理器界面 3.2、MapReduce作业界面 ​4、Hadoop日志  6、 远程调试  7、作业调优 8、MapReduce的工作流  8.1、 将问题分解成MapReduce作业 ...

2018-09-21 01:05:04

阅读数:9

评论数:0

通过maven的pom文件打jar包并指定jar的主类

通过在maven的pom.xml文件加入如下的代码即可指定jar文件的主类 <build>         <plugins>             <plugin&g...

2018-09-20 23:08:48

阅读数:8

评论数:0

Hadoop权威指南---map和reduce函数使用解析

目录 1、数据准备 2、  Java MapReduce  2.1、map函数的实现 2.2、reduce函数的实现 2.3、负责运行MapReduce的代码 2.4、运行测试  3、旧的和新的Java MapReduce API几个明显的区别 4、数据流和combiner函数  ...

2018-09-19 20:52:21

阅读数:19

评论数:0

MapReduce输出自定义序列化对象以及自定义分区Partitioner实现map函数的定向输出

目录 准备数据文件flowcount.txt 一、输出自定义序列化对象 1、首先自定义的类需要实现Writable,实现write和readFields方法 2、编写MapReduce程序 二、自定义分区Partitioner实现map函数的定向输出 1、自定义分区需要实现Partit...

2018-09-18 22:46:59

阅读数:14

评论数:0

Quertz定时执行框架使用与解析

目录 一、使用Quertz编写定时任务的一般步骤 1、job类 2、JobDetail类的xml配置 3、触发器类Trigger的配置 4、启动配置的定时任务xml配置 二、定时任务的冲突避让 三、原理解析 一、使用Quertz编写定时任务的一般步骤 Quertz使用Job、Jo...

2018-09-17 22:15:42

阅读数:12

评论数:0

Hadoop权威指南---Hadoop配置

目录 1、 环境设置  1.1、内存堆大小 1.2、系统日志文件 2、 Hadoop守护进程的关键属性 2.1、HDFS相关设置 2.2、yarn相关设置 2.3、yarn和MapReduce的内存设置 2.4、yarn和MapReduce的CPU设置 3、 Hadoop守护进程...

2018-09-16 22:19:14

阅读数:14

评论数:0

Hadoop权威指南---管理Hadoop

目录 1、HDFS  1.1 永久性数据结构  1.1.1、namenode的目录结构 1.1.2、文件系统镜像和编辑日志 1.1.3、辅助namenode的目录结构 1.1.4、DataNode的目录结构 1.2 安全模式 1.3 日志审计 ​1.4 工具  1.4.1、df...

2018-09-16 20:54:05

阅读数:19

评论数:0

Hadoop权威指南---HDFS简介和java API操作

目录 1、HDFS的设计 2、 HDFS的概念  2.1 数据块  2.2 namenode和datanode 概述 2.3 块缓存  ​2.4 联邦HDFS  2.5 HDFS的高可用性  3、 命令行接口 4、 Hadoop文件系统分类 5、Java接口API 5.1、增...

2018-09-16 17:03:05

阅读数:17

评论数:0

Hadoop权威指南---I/O操作

目录 Hadoop的I/O操作  1、数据完整性  1.1、HDFS的数据完整性  1.2、 LocalFileSystem 和 ChecksumFileSystem  2、 压缩 CompressionCodec 2.1、 codec:Hadoop中对常用压缩解压缩算法的实现 2....

2018-09-16 12:45:03

阅读数:18

评论数:0

Hadoop权威指南---YARN

目录 YARN简介 ​一、剖析YARN应用运行机制  ​1、资源请求---分配机制 ​​2、应用生命期---工作模式 二、 YARN与MapReduce 1相比 三、 YARN中的调度 (默认的是容量调度器) 1、调度器的分类 2、容量调度器配置  ​​​3、公平调度器配置  ...

2018-09-15 14:44:37

阅读数:28

评论数:0

Hadoop权威指南.大数据的存储与分析.第4版目录

目录 第Ⅰ部分 Hadoop基础知识 第1章 初识Hadoop 3 1.1 数据!数据! 3 1.2 数据的存储与分析 5 1.3 查询所有数据 6 1.4 不仅仅是批处理 7 1.5 相较于其他系统的优势 8 1.5.1 关系型数据库管理系统 8 1.5.2 网格计算 10 1.5.3 志愿计算...

2018-09-10 10:03:53

阅读数:53

评论数:0

MapReduce统计文本单词,逆序输出统计结果

1、准备数据 wordcount2.txt They say we are what we are But we do not have to be I am bad behavior but I do it in the best way I will be the watcher Of...

2018-09-09 23:48:56

阅读数:21

评论数:0

MapReduce自己编写Wordcount程序

1、准备数据文件,并且上传到HDFS上,路径/input/wordcount.txt wordcount.txt Hello Hadoop Hello BigData Hello Spark Hello Flume Hello Kafka   2、编写Wordcount代码 这里用户可...

2018-09-09 23:07:06

阅读数:24

评论数:0

Hadoop2.7运行自带的wordcount

目录 1、准备数据文件 2、把文件上传到HDFS上 3、执行命令 4、原理解析 1、准备数据文件 word1.txt  i love the world word2.txt  i love the world , hello ni hao 2、把文件上传到HDFS上 hadoop ...

2018-09-09 21:32:10

阅读数:20

评论数:0

Hadoop1.0与Hadoop2.0的区别

1、什么是Hadoop1.0? Hadoop1.0即第一代Hadoop,指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统组成,其中MapReduce是一个离线处理框架, 由编程模型(新旧API)、运行时环境...

2018-09-09 10:01:16

阅读数:17

评论数:0

HDFS的block块解析

一个块信息包括: 1、块id 2、块大小 3、时间戳 4、这个快所属的文件是哪一个 5、这些块都存在哪些节点上     结合HDFS的底层实现来分析:   先来看一下Block类,它含 有三个成员:blockId,numBytes和generationSta...

2018-09-09 00:26:10

阅读数:20

评论数:0

HDFS上传文件后datanode元数据目录和和datanode数据目录的变化

目录 1、namenode目录存储的元数据信息 2、datanode存储的数据块信息 3、上传一个大文件,大于128M,HDFS需要对文件进行分块存储 4、问题 HDFS2.7默认的块大小为128M,从下面的图中可以看出。 在根目录下上传四个文件,通过web页面可以查看到:http:/...

2018-09-08 23:45:48

阅读数:17

评论数:0

HDFS流式上传文件

借助工具类 import org.apache.hadoop.io.IOUtils; 实现直接从一个输入流往HDFS的输出流中写数据   public static void main(String[] args) throws Exception{ System.setPrope...

2018-09-08 21:04:55

阅读数:23

评论数:0

在Windows下的idea中访问HDFS报错 Could not locate executable null\bin\winutils.exe

18/09/08 20:18:33 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable n...

2018-09-08 20:24:14

阅读数:21

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭