Hadoop生态圈
hadoop基础
咸鱼妹WWW
这个作者很懒,什么都没留下…
展开
-
Hadoop--java.net.BindException: Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用;
java.net.BindException: Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用; For more details see: http://wiki.apache.org/hadoop/BindException at sun.reflect.NativeConstructorAccess...原创 2019-12-24 21:09:43 · 3840 阅读 · 0 评论 -
Hadoop--mkdir: Call From Linux01/192.168.1.3 to Linux01:9000 failed on connection exception
mkdir: Call From Linux01/192.168.1.3 to Linux01:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused.报错出现的原...原创 2019-12-23 16:44:41 · 9571 阅读 · 5 评论 -
Hadoop--WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException
WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/mhw/input/wc.input._COPYING_ could only be replicated to 0 nodes instead of minRepli...原创 2019-12-23 16:36:53 · 2233 阅读 · 0 评论 -
hadoop--环境搭建--域名解析失败
java.net.UnknownHostException: Linux01: Linux01: 域名解析暂时失败 at java.net.InetAddress.getLocalHost(InetAddress.java:1505) at org.apache.hadoop.metrics.MetricsUtil.getHostName(MetricsUtil.java:95)...原创 2019-12-20 11:16:51 · 1739 阅读 · 2 评论 -
Hadoop---Yarn
Yarn调度的是内存和CPU.组成:(1)ResourceManager:集群中只有一个,管理集群中所有的调度情况作用:①处理客户端需求②监控NameNode③启动或监控ApplicationMaster④资源分配与调度(2)NodeManager作用:①管理单个节点上的资源②处理来自ResourceManager的命令③处理来自Applicatio...原创 2019-11-28 22:33:33 · 199 阅读 · 0 评论 -
Hadoop--Hadoop的组成
Hadoop的组成:在Hadoop2.x中MapReduce ---->计算Yarn ---->资源调度HDFS ---->数据存储Common ---->辅助工具 在Hadoop1.x中 , MapReduce同事处理业务逻辑运算和资源调度. 在Hadoop2.x中 ,...原创 2019-11-28 22:15:27 · 77 阅读 · 0 评论 -
Hadoop--HDFS架构概述
HDFS架构概述(1)NameNode(nn):存储文件的元数据(用来描述数据的数据) , 即为数据的索引 , 如文件名 , 文件目录结构 , 文件属性(生成时间 , 副本数 , 文件权限) , 以及每个文件的块列表 , 和块所在的DataNode等 .(2)DataNode(dn) : 在本地文件系统存储文件的块数据 , 所有的数据都存储在DataNode上 , 以及数据的校验和 ....原创 2019-11-28 22:24:37 · 156 阅读 · 0 评论 -
Hadoop--Hadoop的优势
Hadoop的优势:①高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算机元素或存储出现故障,也不会导致数据丢失.②高扩展性:在集群间分配任务,可方便扩展数以千计的节点.③高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度.④高容错性:能够自动将失败的任务重新分配....原创 2019-11-28 22:09:40 · 402 阅读 · 0 评论 -
Hadoop--Hadoop的三大发行版本
Hadoop的三大发行版本:ApcheclouderaHortonworks其中,Apche版本是最原始,最基础的. cloudera是在大型互联网企业使用的比较多.原创 2019-11-28 22:05:48 · 605 阅读 · 0 评论 -
Hasoop--Hadoop是什么?
Hadoop是什么?①Hadoop是由Apche基金会所开发的分布式系统基础架构.②主要解决海量数据的存储和海量数据的分析计算问题.③Hadoop广义上讲,有一个更广泛的概念:Hadoop生态圈....原创 2019-11-28 22:03:36 · 133 阅读 · 0 评论