Hadoop
文章平均质量分 76
login_sonata
这个作者很懒,什么都没留下…
展开
-
完全分布式Hadoop集群的安装搭建和配置(4节点)
学习参考了给力星的两个节点的hadoop搭建过程,我用VirtualBox开了四个Ubuntu(版本15.10)虚拟机,搭建了四个节点的Hadoop分布式集群,并配置了HA,适合首次搭建的同学参考,节点设计如下:一、准备工作在Master节点完成基本工作,包括配置Hadoop用户,安装配置ssh,安装配置java环境,这个阶段给力星同学写得很详细,每一步都有解释。1、新原创 2016-10-05 21:06:46 · 10279 阅读 · 3 评论 -
HDFS基础知识(设计目标,相关概念,可靠性保障,读写,优缺点)
一,HDFS出现的背景虽然硬盘存储容量在不断提升,但是访问速度(I/O)跟不上,解决办法是数据存储在多个硬盘,同时对多个硬盘的数据并行读写。 这样需要解决两个问题:一是硬件故障问题,二是分析任务需要结合不同来源的数据。 于是,Hadoop提供了一个可靠的共享存储和分析系统:HDFS实现数据的存储,MapReduce实现数据的分析和处理。 作为Hadoop的核心技术之一,HDFS(Hadoop原创 2017-01-31 22:48:55 · 3360 阅读 · 0 评论 -
Hadoop常用shell指令
Hadoop常用命令:hadoop fs –ls < path>:等同于本地系统的ls,列出在指定目录下的文件内容,支持pattern匹配。hadoop fs –lsr < path>:类似ls,只不过递归列出所有子目录信息。 hadoop fs –du [-h] < path>:分别列出指定文件夹下所有文件的大小(单位bytes,加了-h单位变成M),等价于unix下的针对目录的du –sb原创 2017-07-05 22:39:41 · 611 阅读 · 0 评论 -
CDH6.0.1离线安装
计划用vmware虚拟机安装三个节点,其中Cloudera Manager Server一台(用来管理),cdh两台(Hadoop主从)。所有操作在root用户下进行。版本:软件版本osCentOS Linux release 7.5.1804jdk1.8.0_141cm(Cloudera Manager)cm6(6.0.1)cdh(Parcels)...原创 2019-07-05 09:09:44 · 2986 阅读 · 1 评论