Hadoop
文章平均质量分 91
Bug专员
主修:大数据开发与数据分析。
数据好,数据妙,删完数据直接跳。
展开
-
Hadoop全分布式安装
配置hadoop01免密登陆hadoop02:ssh-copy-id。配置hadoop01免密登陆hadoop03:ssh-copy-id。配置hadoop02免密登陆hadoop01:ssh-copy-id。配置hadoop02免密登陆hadoop03:ssh-copy-id。配置hadoop03免密登陆hadoop01:ssh-copy-id。配置hadoop03免密登陆hadoop02:ssh-copy-id。配置hadoop02自身免密登陆:ssh-copy-id。原创 2023-01-16 09:09:31 · 116 阅读 · 0 评论 -
Hadoop的伪分布式安装
hadoop.tmp.dir /usr/local/software/hadoop-2.7.1/tmp-- 指定Yarn的主节点 - resourcemanager -->yarn.resourcemanager.hostnamehadoop01原创 2023-01-16 08:59:35 · 154 阅读 · 0 评论 -
Hadoop简介
NameNode收到这些信息之后,会做汇总和检测,检测数据是否完整,复本数量是否达到要求,如果检测出现问题,HDFS会进入安全模式,在安全模式做数据或副本的复制,直到修复完成后,安全模式自动退出。HDFS中的文件在物理上是分块存储(block)的,默认大小在Hadoop2.x/3.x版本中是128M,1.x版本中是64M,不足128M则本身就是一块。HDFS是一种能够在普通硬件上运行的分布式文件系统,它是高度容错的,适应于具有大数据集的应用程序,它非常适于存储大型数据 (比如 TB 和 PB)。原创 2023-01-16 08:57:02 · 365 阅读 · 0 评论