![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
银角大王等唐僧的日子
java,大数据,python学习者
展开
-
Hadoop的概述
HDFS产出的背景和意义1.1hdfs产生的背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。hdfs只是分布式管理系统的一种。1.2hdfs的定义HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功...原创 2019-11-05 18:53:51 · 110 阅读 · 0 评论 -
大数据高频面试题总结
大数据面试总结1.==和equale的区别答:(1).可以比较基本类型也可比较引用类型,基本类型比较值,而引用类型比较内存地址。(2)equals的话,它属于java.lang.Object类里面的方法,如果该方法没有被重写过默认也是(源码149行);String类的equals方法被重写过的,而且String类在日常中用的比较多,形成了equals是比较值的错误观点。(3)具体的比较还是要看...原创 2019-10-15 22:38:56 · 864 阅读 · 0 评论 -
hdfs的优缺点
hdfs的优点:1.高容错性(1)数据自动保存多个副本。(2)副本丢失后,自动恢复。2适合批量处理(1) 移动计算机而非数据 。(2)数据位置暴露给计算机框架(block块)3…适合大数据处理(1) GB、TB、甚至PB级数据。(2)百万规模以上的文件数量。注意:节点数可能10K+。4.可构建在廉价机器上。(1) 通过多个副本提高可靠性。(2)提供了容错和恢复机制。hdf...原创 2019-04-15 14:49:30 · 200 阅读 · 0 评论