- 博客(8)
- 收藏
- 关注
RSS订阅原创 hadoop的进程
Hadoop进程：1、Namenode没有Namenode，HDFS就不能工作。事实上，如果运行namenode的机器坏掉的话，系统中的文件将会完全丢失，因为没有其他方法能够将位于不同datanode上的文件块(blocks)重建文件。因此，namenode的容错机制非常重要，Hadoop提供了两种机制。第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以通过配置来让Na...
2019-08-01 17:18:30
393
原创 Hadoop的shuffle与spark的区别
Hadoop的shuffle1.maptask执行，outputcollect收集maptask的输出数据，将数据写入环形缓冲区中，记录起始偏移量(split)2.环形缓冲区默认大小为100M，当数据达到80M时，记录终止偏移量。3.启动spiller溢出器，将数据进行分区（默认分组根据key的hash值%reduce数量进行分区），分区内进行快速排序4.分区，排序结束后，将数据刷写到磁盘...
2019-08-01 16:57:11
396
原创 XShell突然连接不上虚拟机
报错如下：看了网络上的很多办法，但还是都没有解决。想到上次关闭虚拟机是通过结束进程的方法关闭的，就想到会不会把ip网段重置了？解决方法：打开虚拟网络编辑器，确认网段与虚拟机网段一致打开本机网络适配器，找到VMware Network Adapter VMnet1 ，找到TCP/IPv4将自动获取IP地址切换为手动获取，将虚拟机网段输入确认后 连接成功！...
2019-07-04 11:59:20
6766
3
原创 大数据面试小结
(1) hadoop的配置文件修改过哪些？core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml主要修改以上四个文件具体内容①core-site.xml<configuration> <!-- Hadoop文件系统依赖的基础配置 --> <property> ...
2019-06-25 21:24:05
144
原创 Scanner小结
Scanner类是一个基于正则表达式的一个扫描器，主要用两种方法扫描输入//实例化scanner工具类Scanner scanner = new Scanner(System.in);/*scanner.hasNextXXX()返回值为boolean，用于判断是否还有下一输入项，XXX可以是Int，可以是Char等基础数据类型，如果判断是否还有字符串则可以省略XXX*/scanner....
2018-08-11 16:03:45
92
原创 泛型
泛型规范格式，便于一起校验机制，一种集合上的应用泛型的声明泛型声明的方式：方法 + 类 + 接口 泛型声明的位置：方法 - > 返回值类型之前，类/接口 - > 之后//在类结构中声明一个泛型，当前的类结构中可以将其看作一个未知类型public class Test<T> {}//在实例化对象时，需要传入一个类型作为参数，可以是的每次实例化得到的对...
2018-08-03 10:18:41
133
原创 Java中的几种访问权限
1.访问权限种类Java中总共有四种访问权限 public protected default（默认） private 访问权限 类 包 子类 其他包 public √ √ √ √ protect √ √ √ × default √ √ × × public √ × ...
2018-08-02 21:41:26
375
转载 数据基本类型与包装类
1.数据基本类型第一类：整型 byte short int long 第二类：浮点型 float double 第三类：逻辑型 boolean 第四类：字符型 char 类型 字节 对应包装类 boolean 1/8 Boolean char 1 Character short 2 Short int 4...
2018-07-28 20:46:22
249
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人