![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 79
编码是个技术活
与时消息,与时偕行,与时俱进
展开
-
Hadoop详解及基于Dockerfile搭建Hadoop集群
Hadoop简介 Hadoop是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Hadoop主要功能是为我们提供了一个可靠的共享存储和分析系统。HDFS(Hadoop Distributed FileSysterm)实现数据的分布式存储,MapReduce(计算由map和reduce两部分组成)实现数据的分析和...原创 2019-03-15 08:35:21 · 3994 阅读 · 4 评论 -
1.Hadoop全分布式集群搭建及Hadoop相关操作
前面写过一篇基于Dockerfile的Hadoop集群安装,但是在安装过程中遇到了很多问题(如:权限,端口与宿主机间访问等),本篇主要基于VM虚拟机实现Hadoop集群安装。 1.相关环境 软件 版本 CentOS CentOS Linux release 7.5 Jdk jdk-8u201-linux-x64.tar.gz Hadoop hadoop-3.0.0.tar....原创 2019-03-15 11:46:32 · 359 阅读 · 0 评论 -
2.Hadoop Shell命令大全
1.Hadoop Shell命令 命令 详解 示例 cat 将路径指定文件的内容输出到stdout hadoop fs -cat /hello.txt chgrp 改变文件所属的组。使用-R将使改变在目录结构下递归进行 hadoop fs -chgrp uaren /wxt chmod 改变文件的权限。使用-R将使改变在目录结构下递归进行 hadoop fs -chmod ...原创 2019-03-20 14:58:10 · 175 阅读 · 0 评论