Hadoop
文章平均质量分 63
一个分布式系统基础架构。优势是高速计算和存储优势
play_chess_ITmanito
时间是个庸医 却号称包治百病
什么都不做,才会来不及
大数据从业者,喜用Python语言
展开
-
Hadoop,MapReduce,HDFS面试题
今天发这个的目的是为了给自己扫开迷茫,告诉自己该进阶了,以下内容不一定官方和正确,完全个人理解,欢迎大家留言讨论1.什么是hadoop答:是google的核心算法MapReduce的一个开源实现。用于海量数据的并行处理。 hadoop的核心主要包含:HDFS和MapReduce HDFS是分布式文件系统,用于分布式存储海量数据。 MapReduce是分布式数据处原创 2016-04-08 08:32:33 · 841 阅读 · 0 评论 -
与Hadoop相比,怎么看待spark?
Hadoop 首先看一下Hadoop解决了什么问题,Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。 HDFS,在由普通PC组成的集群上提供高可靠的文件存储,通过将块保存多个副本的办法解决服务器或硬盘坏掉的问题。 MapReduce,通过简单的Mapper和Reducer的抽象提供一个编程模型,可以在一个由几十台上百台的PC组成原创 2016-08-08 19:55:05 · 2120 阅读 · 0 评论 -
Hadoop常见端口
默认端口 设置位置 描述信息 8020 namenode RPC交互端口 8021 JT RPC交互端口 50030 mapred.job.tracker.http.address JobTracker adminis原创 2016-04-13 14:50:10 · 817 阅读 · 0 评论 -
Hadoop集群的JobHistoryServer详解
Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器如何启动历史服务?# mr-jobhistory-daemon.sh start historyserver这样原创 2016-07-20 09:33:49 · 4907 阅读 · 0 评论 -
hadoop fs -mkdir input 报错: No such file or directory
[root@h1 bin]# hadoop fs -mkdir input 17/04/25 00:30:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable mkdir: `input’:原创 2017-04-27 10:31:17 · 3493 阅读 · 0 评论