大数据
文章平均质量分 93
地三千
这个作者很懒,什么都没留下…
展开
-
使用API操作HDFS(一)准备客户端环境
使用API操作HDFS(一)准备客户端环境安装所需的软件链接:https://pan.baidu.com/s/1yTr-8JQlWTD2MKy6ujaDeQ提取码:vwuw安装过程jdk安装本次是采取默认安装的,可以根据自己的需求进行安装。Hadoop安装Hadoop-2.9.2安装包解压到非中文路径即可解压之后将文件 winutils.exe 放到 bin目录下即可配置环境变量jdk与Hadoop的环境变量都要配置验证环境变量创建新的 Mave原创 2021-08-03 23:20:21 · 248 阅读 · 0 评论 -
Hadoop分布式文件系统 (HDFS)
Hadoop分布式文件系统简介 HDFS(Hadoop distribute file system) 是Hadoop核心组成,是分布式存储服务 分布式文件系统能够横跨多态计算机。在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。 HDFS是分布式文件系统的一种概念 HDFS通过统一的命名空间目录树 来定位文件 通过多态服务器联合实现其功能,集群中的服务器有各自的角色(分布式的本质是拆分,各司其职)典型的 Master/Slave 【主从原创 2021-08-02 17:03:29 · 1171 阅读 · 0 评论 -
ApacheHadoop 分布式集群搭建(二)集群配置与运行测试
Hadoop 集群配置安装Hadoop1. 安装 Hadoop版本信息安装Hadoop版本信息为 Apache Hadoop 原始版本,版本号为:2.9.2链接:https://pan.baidu.com/s/1mSYVBWEQsZRX-npBOA2cXw提取码: ceck上传文件文件上传到主机1( linux121)中,路径信息为: /opt/lagou/software/修改文件权限: chmod 755 hadoop-2.9.2.tar.gz修改完成后文件如下图所示:原创 2021-07-31 23:25:24 · 199 阅读 · 2 评论 -
ApacheHadoop 分布式集群搭建(一)主机设置与java环境配置
说明本次搭建使用 ucloud云服务器 进行搭建。主机数量为 3 台,主机配置如下图所示:集群规划框架主机1 (linux121)主机2 (linux122)主机3 (linux123)HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNodeYarnNodeManagerNodeManagerNodeManager、ResourceManager虚拟机环境准备1.修改主机名称相关命令原创 2021-07-30 18:39:39 · 277 阅读 · 0 评论