自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 hadoop的进程

Hadoop进程:1、Namenode没有Namenode,HDFS就不能工作。事实上,如果运行namenode的机器坏掉的话,系统中的文件将会完全丢失,因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此,namenode的容错机制非常重要,Hadoop提供了两种机制。第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Na...

2019-08-01 17:18:30 393

原创 Hadoop的shuffle与spark的区别

Hadoop的shuffle1.maptask执行,outputcollect收集maptask的输出数据,将数据写入环形缓冲区中,记录起始偏移量(split)2.环形缓冲区默认大小为100M,当数据达到80M时,记录终止偏移量。3.启动spiller溢出器,将数据进行分区(默认分组根据key的hash值%reduce数量进行分区),分区内进行快速排序4.分区,排序结束后,将数据刷写到磁盘...

2019-08-01 16:57:11 396

原创 XShell突然连接不上虚拟机

报错如下:看了网络上的很多办法,但还是都没有解决。想到上次关闭虚拟机是通过结束进程的方法关闭的,就想到会不会把ip网段重置了?解决方法:打开虚拟网络编辑器,确认网段与虚拟机网段一致打开本机网络适配器,找到VMware Network Adapter VMnet1 ,找到TCP/IPv4将自动获取IP地址切换为手动获取,将虚拟机网段输入确认后 连接成功!...

2019-07-04 11:59:20 6766 3

原创 大数据面试小结

(1) hadoop的配置文件修改过哪些?core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml主要修改以上四个文件具体内容①core-site.xml<configuration> <!-- Hadoop文件系统依赖的基础配置 --> <property> ...

2019-06-25 21:24:05 144

原创 Scanner小结

Scanner类是一个基于正则表达式的一个扫描器,主要用两种方法扫描输入//实例化scanner工具类Scanner scanner = new Scanner(System.in);/*scanner.hasNextXXX()返回值为boolean,用于判断是否还有下一输入项,XXX可以是Int,可以是Char等基础数据类型,如果判断是否还有字符串则可以省略XXX*/scanner....

2018-08-11 16:03:45 92

原创 泛型

泛型规范格式,便于一起校验机制,一种集合上的应用泛型的声明泛型声明的方式:方法 + 类 + 接口 泛型声明的位置:方法 - &gt; 返回值类型之前,类/接口 - &gt; 之后//在类结构中声明一个泛型,当前的类结构中可以将其看作一个未知类型public class Test&lt;T&gt; {}//在实例化对象时,需要传入一个类型作为参数,可以是的每次实例化得到的对...

2018-08-03 10:18:41 133

原创 Java中的几种访问权限

1.访问权限种类Java中总共有四种访问权限 public protected default(默认) private 访问权限 类 包 子类 其他包 public √ √ √ √ protect √ √ √ × default √ √ × × public √ × ...

2018-08-02 21:41:26 375

转载 数据基本类型与包装类

1.数据基本类型第一类:整型 byte short int long 第二类:浮点型 float double 第三类:逻辑型 boolean 第四类:字符型 char 类型 字节 对应包装类 boolean 1/8 Boolean char 1 Character short 2 Short int 4...

2018-07-28 20:46:22 249 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除