自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Date类型的after()方法与before()方法的使用

需求: 当 当前时间date等于addDate时或者当前时间在addDate之后并且在addDate1之前进行处理逻辑 if((date.compareTo(addDate)==0)||(date.after(addDate)&&date.before(addD...

2019-09-29 11:29:24

阅读数 6

评论数 0

原创 java在线生成验证码图片

import java.awt.Color; import java.awt.Font; import java.awt.Graphics; import java.awt.image.BufferedImage; import java.io.IOException; import java.u...

2019-09-27 11:34:02

阅读数 3

评论数 0

原创 不使用原来的pom依赖,自定义pom依赖,安装本地jar包到本地运行,以及安装本地jar包到服务器运行

前两天利用java生成合同模板遇到一种情况:原来的pom依赖下载的jar包版本是商业版的,生成的合同上方总是有红字警告,虽然是免费的,但是看他不爽,于是联系成都蓝冰科技官方客服,客服发给我一个免费版本的jar包没有红字警告.太开心了,但是不会安装啊,本人只会pom依赖自动下载.请教了公司同事以后方...

2019-09-26 10:45:57

阅读数 7

评论数 0

原创 详解HDFS的Mapper类和Reduce类及4个泛型参数含义

Mapper类: Mapper组件开发方式:自定义一个类,继承Mapper Mapper组件的作用是定义每一个MapTask具体要怎么处理数据。例如一个文件,256MB,会生成2个MapTask。即2个MapTask处理逻辑是一样的,只是每个MapTask处理的数据不一样。 下面是Map...

2019-02-14 09:53:09

阅读数 714

评论数 0

原创 HDFS的MapReduce执行流程

1. 从HDFS中获取数据 2. MapReduce首先会将输入的数据进行逻辑切片,每一个切片是一个InputSplit对象 3. 每一个InputSplit对象会交给一个MapTask来执行 4. 切片中的每一行数据都会触发一次map方法, 5. map方法的输入的键默认为数据偏移量,输入的值为...

2019-02-14 09:42:52

阅读数 30

评论数 0

原创 详解大数据HDFS分布式文件系统的写入流程

删除流程: 1.客户端发起RPC请求到NameNode 2.NameNode收到请求后,将这个操作更新到edits文件以及内存中 3.NameNode更新完内存中的元数据之后,会给客户端返回一个ack信号,表示已经删除成功,但此时这个文件并没有真正的从DataNode上删除. 4.等到DataNo...

2019-02-14 09:33:31

阅读数 33

评论数 0

原创 详解大数据HDFS分布式文件系统的写入流程

写入流程: 1.客户端发起RPC请求访问NameNode 2.NameNode在收到请求之后会进行校验:路径校验,权限校验 3.如果所有校验都通过,则计算文件大小,计算切块数量,分配对应的DataNode,记录元数据,将文件块的储存地址,放入到队列中返回给客户端 4.客户端收到队列后,将文件进行切...

2019-02-14 09:26:45

阅读数 29

评论数 0

原创 详解大数据HDFS分布式文件系统的读取流程

读取流程: 1,客户端通过RPC请求访问NameNode(请求读取) 2,NameNode查询请求的文件的元数据,获取到文件的储存路径,然后将文件所对应的全部或者部分文件块的储存地址放入一个队列中,返回给客户端. 3,客户端收到队列之后,依次遍历队列,读取文件块. 4,客户端从队列中获取到第一个文...

2019-02-14 09:11:14

阅读数 46

评论数 0

提示
确定要删除当前文章?
取消 删除