我们始终是路人

I'll try anything once.学习笔记

hadoop集群安装 7节点;HA

教程使用版本: hadoop-2.8.1.tar.gz zookeeper-3.4.10.tar.gz Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708) 前期准备: 集群规划: 主机名 IP 安...

2017-11-01 17:50:27

阅读数 455

评论数 0

MapReduce 另一种写法

public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } ...

2017-10-31 18:09:30

阅读数 176

评论数 0

MapReduce 自定义outputFormat

写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> { 重写getRecordWriter(TaskAttemp...

2017-10-31 16:25:24

阅读数 237

评论数 0

MapReduce 分组GroupingComparator

public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型,以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { ...

2017-10-31 14:59:45

阅读数 193

评论数 0

MapReduce 缓存文件

/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { Buffe...

2017-10-31 14:38:31

阅读数 467

评论数 0

MapReduce MapTask任务数量,切片大小笔记

MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理 切片实现 由FileInputFormat实现类的getSplits()方法实现切片 默认切片大小就是Block块大小(默认块大小128M) 在FileInputFormat中,计算...

2017-10-30 19:37:37

阅读数 1184

评论数 0

HDFS,数据块,NameNode&DataNode概念及一些原理

分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件 流式数据访问:一次写入,多次读...

2017-10-29 20:02:31

阅读数 2437

评论数 0

Hadoop 客户端 CRUD

package cn.itning.testimport org.apache.commons.io.IOUtils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.FileSystem import ...

2017-10-27 11:31:45

阅读数 231

评论数 0

Mapreduce中的分区Partitioner

import java.util.HashMap;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author *...

2017-10-26 16:08:30

阅读数 259

评论数 0

Hadoop客户端 mapreducer

package cn.itning.job.wordcountimport org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.Path import org.apache.hadoop.io.LongWritable ...

2017-10-26 15:59:20

阅读数 205

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭