hadoop
巨坑大数据
这个作者很懒,什么都没留下…
展开
-
Hadoop组件学习(三)——HDFS的设计与高可用性
HDFS的设计 大数据集:在HDFS上运行的应用程序具有大量数据集,因此HDFS支持大文件并具有较高的聚合数据带宽;HDFS中的典型文件大小为GB到TB 流式数据访问:HDFS支持一次写入、多次读取的访问模式;数据集通常由数据源生成或从数据源中复制而来,接着长时间在此数据集上进行各种分析。每次分析都将涉及该数据集的大部分数据甚至全部,因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。 故障恢复:Hadoop并不需要运行在昂贵且高可靠的硬件上,是设计运行在商用硬件(在零售店可以买到的原创 2020-06-07 17:29:24 · 460 阅读 · 0 评论 -
Hadoop组件学习(二)——属性与安全性
1、Hadoop的部分属性2、Hadoop的安全性Hadoop的部分属性 1、委任和解除节点 Hadoop集群的管理员经常需要向集群中添加节点或从集群中移除节点。例如,为了扩大存储容量,需要委任节点;相反的,如果想要缩小集群规模或节点表现反常,例如故障率过高或者性能过低,则需要解除该节点。 委任新节点 include文件说明:允许连接到namenode的所有datanode放在一个文件中,文件名称有dfs.hosts属性指定。该文件放在namenode的本地文...原创 2020-05-31 16:27:05 · 409 阅读 · 0 评论 -
Hadoop组件学习(一) —— 单点与集群的配置
一、Hadoop核心组件 1.分布式文件存储系统HDFS(Hadoop Distributed File System) 2.资源管理系统YARN(Yet Another Resource Negotiator) 3.分布式计算框架MapReduce二、Hadoop安装 支持平台 : Windows也是受支持的平台,但以下步骤仅适用于Linux Linux所需要的软件包括 1. 必须安装java,Hadoop的2.7版(含2.7)和更高...原创 2020-05-24 20:35:58 · 560 阅读 · 0 评论