hadoop
文章平均质量分 73
weixin_45515429
这个作者很懒,什么都没留下…
展开
-
Hadoop2.6 HA的搭建
一、软件 hadoop-2.6.0-cdh5.16.2.tar.gz jdk-8u45-linux-x64.gz zookeeper-3.4.5-cdh5.16.2.tar.gz 二、集群规划 主机 安装软件 进程 hadoop01 hadoop、zookeeper NameNode、DFSZKFailoverController、JournalNode、DataNode、ResourceManager、JobHistoryServer、NodeManager、原创 2021-01-19 23:34:10 · 107 阅读 · 0 评论 -
8、hadoop学习笔记02
一、hdfs架构:主从结构 1、namenode : nn 名称节点 a、文件的名称 b、文件的目录结构 c、文件的属性 权限 副本数 创建时间 d、一个文件被对于切割哪些数据块(包含副本数的块)=》对应分布在哪些datanode blockmap块映射 nn是不会持久这种映射关系的。是通过集群的启动和运行,dn定期汇报blockreport给nn,然后在内存中动态维护这种映射关系。 作用:管理文件系统的命名空间,维护文件系统树的文件和文件夹 镜像文件 fisimage 编辑日志文件 editlogs -r原创 2020-11-28 10:20:39 · 86 阅读 · 1 评论 -
7、hadoop学习笔记01
这里写自定义目录标题欢迎使用Markdown编辑器前提2、部署准备3、hadoop部署 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 前提 1.1大数据主要分三块 存储 hdfs hive hbase kudu 计算 sql spark flink 资源任务调度 yarn 1.2 hadoop官网 https://hado原创 2020-11-22 21:46:53 · 78 阅读 · 0 评论