Hadoop
文章平均质量分 79
煉心_
永遠的初級程序員...
展开
-
Hadoop伪分布式模式安装配置步骤
最近要升级Hadoop的版本,需要重新安装测试环境,特此记录一下安装配置步骤O(∩_∩)O1. 依赖软件 - Java:Hadoop 2.7及以上版本需要Java 7,之前的版本支持Java 6,本文使用Hadoop 2.6.5版本,所以安装Java 6就可以了- ssh2. 下载和解压Hadoop2.1 如果服务器可以访问公网,可以执行以下原创 2016-11-29 11:29:11 · 1707 阅读 · 0 评论 -
java.lang.NoSuchMethodError: org.apache.hadoop.fs.FSOutputSummer.<init>(Ljava/util/zip/Checksum;II)V
环境:- Spark 2.11-2.0.2版本(在Eclipse下面使用Maven引入spark-core_2.11-2.0.2.jar)- Hadoop 2.6.5版本使用Spark的Java APIs(saveAsTextFile方法)把大量的日志导入远程的HDFS,遇到下面的java.lang.NoSuchMethodError: org.apache.hadoo原创 2017-01-16 15:56:01 · 3269 阅读 · 0 评论 -
java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read
环境:- Spark 2.11-2.0.2- Hadoop 2.6.5使用Spark连接HDFS,在高并发的时候,偶尔会遇到以下异常:2017-01-26 10:30:29,079 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: xxx:50010:DataXceiver error processing W原创 2017-02-04 10:04:07 · 25812 阅读 · 0 评论 -
执行stop-dfs.sh后无法停止namenodes、datanodes和secondary namenodes
1. 环境本文使用Hadoop 2.7.3版本2. 错误信息执行stop-dfs.sh后显示以下信息:Stopping namenodes on [master]master: no namenode to stopslave1: no datanode to stopslave2: no datanode to stopslave3: no datanod原创 2017-04-07 11:23:57 · 3712 阅读 · 1 评论 -
Hadoop分布式集群安装配置步骤
之前介绍过Hadoop伪分布式模式的安装配置步骤,现在记录一下分布式集群的安装配置步骤,本文使用3台测试服务器,下面是各服务器的角色: - node1:NameNode, SecondaryNameNode, DataNode, NodeManager- node2:DataNode, NodeManager, ResourceManager- node3:DataNode, No原创 2017-02-07 16:35:10 · 2052 阅读 · 0 评论 -
官方HDFS架构设计原理说明(上)
玩了HDFS已经有好多年了,之前一直都是边学边用,直到现在才真正有时间记录一下学到的知识O(∩_∩)O1. 引言HDFS全称是Hadoop Distributed File System,Hadoop分布式文件系统,顾名思义它是一个分布式的文件系统,设计于运行在普通硬件之上。它和现在的分布式文件系统有很多相似点,但是它们的区别也是很明显的。HDFS是高容错的,被设计于运行在廉价的硬翻译 2017-05-08 09:58:36 · 5436 阅读 · 0 评论 -
官方HDFS架构设计原理说明(下)
玩了HDFS已经有好多年了,之前一直都是边学边用,直到现在才真正有时间记录一下学到的知识O(∩_∩)O6. 文件系统元数据的持久化HDFS的命名空间是由命名节点NameNode来存储的。NameNode使用了一个叫EditLog的事务日志来持续记录文件系统元数据的每一次更改,例如在HDFS创建一个新的文件,NameNode会在EditLog里面插入一条这样的记录。类似地,修改文件的翻译 2017-06-07 14:48:42 · 1098 阅读 · 0 评论 -
HDFS集群整合Kerberos配置步骤
1 概述本文档用于HDFS整合Kerberos配置的详细步骤说明,版本分别为2.7.3和1.16。2 前提条件假设已有安装配置好的HDFS集群和YARN,本文使用4台服务器,角色分别为:192.168.1.10:NameNode、SecondaryNameNode、ResourceManager192.168.1.11:DataNode、NodeManager192.168.1.12:DataNo...原创 2018-05-25 16:44:44 · 4711 阅读 · 0 评论 -
HDFS集群版本升级执行步骤
1 概述本文档用于没有配置高可用的HDFS集群版本升级执行的详细步骤说明,版本由2.7.3升级到2.9.0。2 前提条件假设已有安装配置好整合了Kerberos的HDFS集群和YARN,本文使用5台服务器,角色分别为:hadoop0:NameNode、SecondaryNameNode、ResourceManagerhadoop1:DataNode、NodeManagerhadoop2:DataN...原创 2018-05-31 15:07:04 · 2085 阅读 · 0 评论