我们始终是路人

I'll try anything once.学习笔记

MapReduce 另一种写法

public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } ...

2017-10-31 18:09:30

阅读数 176

评论数 0

MapReduce 自定义outputFormat

写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> { 重写getRecordWriter(TaskAttemp...

2017-10-31 16:25:24

阅读数 237

评论数 0

MapReduce 分组GroupingComparator

public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型,以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { ...

2017-10-31 14:59:45

阅读数 193

评论数 0

MapReduce 缓存文件

/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { Buffe...

2017-10-31 14:38:31

阅读数 467

评论数 0

MapReduce MapTask任务数量,切片大小笔记

MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理 切片实现 由FileInputFormat实现类的getSplits()方法实现切片 默认切片大小就是Block块大小(默认块大小128M) 在FileInputFormat中,计算...

2017-10-30 19:37:37

阅读数 1184

评论数 0

HDFS,数据块,NameNode&DataNode概念及一些原理

分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件 流式数据访问:一次写入,多次读...

2017-10-29 20:02:31

阅读数 2437

评论数 0

Hadoop 客户端 CRUD

package cn.itning.testimport org.apache.commons.io.IOUtils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.FileSystem import ...

2017-10-27 11:31:45

阅读数 231

评论数 0

Mapreduce中的分区Partitioner

import java.util.HashMap;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author *...

2017-10-26 16:08:30

阅读数 259

评论数 0

Hadoop客户端 mapreducer

package cn.itning.job.wordcountimport org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.Path import org.apache.hadoop.io.LongWritable ...

2017-10-26 15:59:20

阅读数 205

评论数 0

Zookeeper实现分布式应用的(主节点HA)及客户端动态更新主节点状态

某分布式系统中,主节点可以有多台,可以动态上下线 任意一台客户端都能实时感知到主节点服务器的上下线 import org.apache.zookeeper.CreateMode import org.apache.zookeeper.Watcher import org.apache.zooke...

2017-10-20 20:56:16

阅读数 456

评论数 0

Zookeeper JAVA客户端(Kotlin 实现) CRUD

import org.apache.zookeeper.CreateMode import org.apache.zookeeper.Watcher import org.apache.zookeeper.ZooDefs import org.apache.zookeeper.ZooKeeper ...

2017-10-20 17:11:17

阅读数 241

评论数 0

Tomcat配置强制https端口变成8443的解决办法

明确: http默认端口 80 https默认端口 443 将redirectPort=”8443”改为 redirectPort=”443”service.xml <Connector port="80" protocol="HTTP/1.1"...

2017-10-18 10:44:10

阅读数 5219

评论数 0

软考初级程序员-进制转换

低进制转高进制低进制转高进制:乘将低进制的每一位数乘以它的权,然后相加,即为高进制数 例: 二进制转十进制: 高进制转低进制高进制转低进制:除 例: 十进制转二进制:

2017-10-09 21:47:36

阅读数 204

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭