hadoop
盖世英雄来了
乾坤未定,你我皆是黑马!
展开
-
Java程序读写HDFS报错:No FileSystem for scheme: hdfs
在使用java程序对hdfs文件系统进行读取的时候,应该确保是一个hadoop job程序否则的话需要导入hadoop-hdfs的依赖,会出现这个问题。在maven中配置hadoop-hdfs即可。说明:虽然普通的java程序运行会报错,但是可以打包成jar文件,然后再hadoop上运行是可以正常执行的。另外可以把读写的代码conf.set("fs.defaultFS...原创 2020-04-10 22:36:36 · 7215 阅读 · 0 评论 -
Haddop入门架构图解
Hadoop项目的四个模块hadoop common(为其他hadoop模块提供基础设施) hdfs(一个高可靠,高吞吐量的分布式文件系统) mapreduce(一个分布式离线的并行计算框架) yarn(任务调度和资源管理)HDFS系统架构图服务功能介绍Namenode:主节点,存储文件的元数据(文件名,目录结构,属性,块列表,块所在的datano...原创 2019-09-18 18:03:39 · 213 阅读 · 0 评论 -
Hadoop 安装snappy(编译源码)
首先,由于下载的hadoop一般都是编译好的,不支持snappy压缩,因此,我们需要下载未编译的hadoop进行编译,然后自己设置支持的压缩格式。以下开始详细配置:安装之前 hadoop checknative -a1.准备###安装其中部分基础软件的命令:yum -y install gcc gcc-c++ libtool cmake maven zlib-devel下载...原创 2019-09-29 18:52:33 · 829 阅读 · 0 评论 -
阿里云部署hadoop集群启动namenode报错(cannot assign requested address)
在阿里云上部署Hadoop集群报错,无法启动namenode org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.java.net.BindException: Problem binding to [Namenode:9000] java.net.BindException: Cannot...原创 2019-09-30 19:52:02 · 740 阅读 · 0 评论