- 博客(8)
- 收藏
- 关注
原创 hadoop的进程
Hadoop进程:1、Namenode没有Namenode,HDFS就不能工作。事实上,如果运行namenode的机器坏掉的话,系统中的文件将会完全丢失,因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此,namenode的容错机制非常重要,Hadoop提供了两种机制。第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Na...
2019-08-01 17:18:30 422
原创 Hadoop的shuffle与spark的区别
Hadoop的shuffle1.maptask执行,outputcollect收集maptask的输出数据,将数据写入环形缓冲区中,记录起始偏移量(split)2.环形缓冲区默认大小为100M,当数据达到80M时,记录终止偏移量。3.启动spiller溢出器,将数据进行分区(默认分组根据key的hash值%reduce数量进行分区),分区内进行快速排序4.分区,排序结束后,将数据刷写到磁盘...
2019-08-01 16:57:11 411
原创 XShell突然连接不上虚拟机
报错如下:看了网络上的很多办法,但还是都没有解决。想到上次关闭虚拟机是通过结束进程的方法关闭的,就想到会不会把ip网段重置了?解决方法:打开虚拟网络编辑器,确认网段与虚拟机网段一致打开本机网络适配器,找到VMware Network Adapter VMnet1 ,找到TCP/IPv4将自动获取IP地址切换为手动获取,将虚拟机网段输入确认后 连接成功!...
2019-07-04 11:59:20 6819 3
原创 大数据面试小结
(1) hadoop的配置文件修改过哪些?core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml主要修改以上四个文件具体内容①core-site.xml<configuration> <!-- Hadoop文件系统依赖的基础配置 --> <property> ...
2019-06-25 21:24:05 175
原创 Scanner小结
Scanner类是一个基于正则表达式的一个扫描器,主要用两种方法扫描输入//实例化scanner工具类Scanner scanner = new Scanner(System.in);/*scanner.hasNextXXX()返回值为boolean,用于判断是否还有下一输入项,XXX可以是Int,可以是Char等基础数据类型,如果判断是否还有字符串则可以省略XXX*/scanner....
2018-08-11 16:03:45 101
原创 泛型
泛型规范格式,便于一起校验机制,一种集合上的应用泛型的声明泛型声明的方式:方法 + 类 + 接口 泛型声明的位置:方法 - > 返回值类型之前,类/接口 - > 之后//在类结构中声明一个泛型,当前的类结构中可以将其看作一个未知类型public class Test<T> {}//在实例化对象时,需要传入一个类型作为参数,可以是的每次实例化得到的对...
2018-08-03 10:18:41 141
原创 Java中的几种访问权限
1.访问权限种类Java中总共有四种访问权限 public protected default(默认) private 访问权限 类 包 子类 其他包 public √ √ √ √ protect √ √ √ × default √ √ × × public √ × ...
2018-08-02 21:41:26 395
转载 数据基本类型与包装类
1.数据基本类型第一类:整型 byte short int long 第二类:浮点型 float double 第三类:逻辑型 boolean 第四类:字符型 char 类型 字节 对应包装类 boolean 1/8 Boolean char 1 Character short 2 Short int 4...
2018-07-28 20:46:22 258 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人