自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

我们始终是路人

I'll try anything once.学习笔记

原创 MapReduce 另一种写法

public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } public static void main(String[] args) throws Exce

2017-10-31 18:09:30 260

原创 MapReduce 自定义outputFormat

写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> {重写getRecordWriter(TaskAttemptContext context)方法maptask或者reducetask在最终输出时,先调用OutputForm

2017-10-31 16:25:24 318

原创 MapReduce 分组GroupingComparator

public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型,以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { super(OrderBean.class, true); } @Ove

2017-10-31 14:59:45 344

原创 MapReduce 缓存文件

/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { BufferedReader bufferedReader = new BufferedReader(new Fi

2017-10-31 14:38:31 677

原创 MapReduce MapTask任务数量,切片大小笔记

MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理切片实现由FileInputFormat实现类的getSplits()方法实现切片默认切片大小就是Block块大小(默认块大小128M)在FileInputFormat中,计算切片大小的逻辑代码为:Math.max(minSize, Math.min(maxSize, bloc

2017-10-30 19:37:37 1924

原创 HDFS,数据块,NameNode&DataNode概念及一些原理

分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件流式数据访问:一次写入,多次读取是最高效的访问模式不适合需要低时间延迟的数据访问:HDFS为高数据吞吐量应用优化,可能会以时间为代价

2017-10-29 20:02:31 3184

原创 Hadoop 客户端 CRUD

package cn.itning.testimport org.apache.commons.io.IOUtilsimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.FileSystemimport org.apache.hadoop.fs.Pathimport org.junit.Beforeim

2017-10-27 11:31:45 282

原创 Mapreduce中的分区Partitioner

import java.util.HashMap;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author * */public class ProvincePartitioner extends Partit

2017-10-26 16:08:30 318

原创 Hadoop客户端 mapreducer

package cn.itning.job.wordcountimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.io.LongWritableimport org.apache.hadoop.io.Textimport org.apache.h

2017-10-26 15:59:20 274

原创 Zookeeper实现分布式应用的(主节点HA)及客户端动态更新主节点状态

某分布式系统中,主节点可以有多台,可以动态上下线 任意一台客户端都能实时感知到主节点服务器的上下线import org.apache.zookeeper.CreateModeimport org.apache.zookeeper.Watcherimport org.apache.zookeeper.ZooDefsimport org.apache.zookeeper.ZooKeeper/*

2017-10-20 20:56:16 590

原创 Zookeeper JAVA客户端(Kotlin 实现) CRUD

import org.apache.zookeeper.CreateModeimport org.apache.zookeeper.Watcherimport org.apache.zookeeper.ZooDefsimport org.apache.zookeeper.ZooKeeperimport org.apache.zookeeper.data.Statimport org.jun

2017-10-20 17:11:17 363

原创 Tomcat配置强制https端口变成8443的解决办法

明确: http默认端口 80 https默认端口 443 将redirectPort=”8443”改为 redirectPort=”443”service.xml <Connector port="80" protocol="HTTP/1.1" connectionTimeout="20000" URIEncoding="UTF-

2017-10-18 10:44:10 8365

原创 软考初级程序员-进制转换

低进制转高进制低进制转高进制:乘将低进制的每一位数乘以它的权,然后相加,即为高进制数例: 二进制转十进制: 高进制转低进制高进制转低进制:除例: 十进制转二进制:

2017-10-09 21:47:36 278

提示
确定要删除当前文章?
取消 删除