java
sj天问
这个作者很懒,什么都没留下…
展开
-
MapReduce概述以及序列化
MapReduce是一个分布式运算程序编程框架。分布式的运算程序往往需要分成至少2个阶段。第一个阶段的MapTask并发实例,完全并行运行,互不相干。第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。Java类型Hadoop Writable类型Boolean原创 2020-10-16 20:33:33 · 248 阅读 · 0 评论 -
HDFS数据流以及NameNode,SecondNameNode,DataNode工作机制
HDFS写数据流程如图所示,所要做的动作是吧ss.avi上传首先客户端先创建一个FileSystem对象之后向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。NameNode返回是否可以上传。客户端请求上传第一个Block(0-128M)上传到哪几个DataNode服务器上。NameNode返回dn1,dn2,dn3节点,表示用这三个节点存储数据然后客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然原创 2020-10-14 19:37:31 · 181 阅读 · 0 评论 -
HDFS梳理以及客户端操作HDFS
HDFS优缺点1.优点高容错性(1)数据自动保存多个副本,通过增加副本的形式,提高容错性。(2)某一个副本丢失以后,它可以自动恢复适合处理大规模数据(1)数据规模:能够处理最高达PB级别的数据;(2)文件规模:能够处理百万规模以上的文件数量,数量相当之大。可构建在廉价机器上2.缺点不适合低延时数据访问,比如毫秒级的存储数据无法高效的对大量小文件进行存储HDFS组成架构NameNode(nn):就是Master,它是一个主管、管理者。(1)管理HDFS的名称空间(2)配原创 2020-10-13 18:59:32 · 300 阅读 · 0 评论 -
小记
* Collections集合工具类 * public static <T> boolean addAll(Collection<? super T> c,T... elements) * 将所有指定元素添加到指定 collection 中。 * public static void reverse(List<?> list) * 反转指定列表中元素的顺序。 * public static void shuffle(List<?&g.原创 2020-09-14 18:46:45 · 119 阅读 · 0 评论 -
Date 日期时间类小记
** * Date 日期时间类: * 类的解释 * 类 Date 表示特定的瞬间,精确到毫秒。 * 类的位置 * java.util.Date * 类的构造器 * public Date()分配 Date 对象并初始化此对象,以表示分配它的时间(精确到毫秒)。 * public Date(long date)分配 Date 对象并初始化此对象, * 以表示自从标准基准时间(称为“历元(epoch)”, * 即 1970 年 1 月 1 日 0原创 2020-09-11 19:40:34 · 104 阅读 · 0 评论 -
异常小结
异常小结** * Throwable类是所有错误和异常的父类 * 错误:XxxError * 异常:Exception * * Throwable常用方法: * public void printStackTrace()。打印异常的详细信息 * public String getMessage()返回此 throwable 的详细消息字符串。 * public String toString()返回此 throwable 的简短描述。 * *** * 异常的分原创 2020-09-11 18:53:19 · 52 阅读 · 0 评论 -
局部内部类方法想要修改外部类局部变量的问题
局部内部类方法想要修改外部类局部变量的问题先上代码public class InnerClassDemo03 { public static void main(String[] args) { Outer outer = new Outer(); outer.method(); }}public class Outer { public void method () { int a = 20; class Inner { public void show () {原创 2020-09-07 21:26:52 · 1610 阅读 · 1 评论 -
小记
day11总结1.final关键字final含义:最终的,不可改变的final关键字:可以修饰类,方法,变量被final关键字修饰的类,不能被继承被final关键字修饰的方法,不能被子类重写被final关键字修饰的变量,只能被赋值一次如果是局部变量,无论是直接赋值初始化还是先定义后初始化,都只能被赋值一次如果是实例变量,且先定义后初始化,需要在这个类中所有的构造器中进行赋值如果是静态变量,且先定义后初始化,需要在这个类中的静态代码块中进行赋值关键字的共存性fin原创 2020-09-07 19:11:11 · 96 阅读 · 0 评论 -
2020-09-07
匿名内部类的5种实现方法1方法一:创建实现类对象public interface InterTest { // 抽象方法 void print(String str);}public class InterTestImpl implements InterTest{ @Override public void print(String str) { System.out.println(str); }}//方法一:创建实现类对象 //1.创建接口的实现类文件,重写接口中原创 2020-09-07 18:48:48 · 81 阅读 · 0 评论