- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop集群启动后缺少进程问题
NameNode在format初始化后会生成cluster ID（集群id）DataNode在启动后也会生成和NameNode一样的clusterID当NameNode突然被杀死或集群突然宕机，再次格式化后NameNode会生成新的clusterID，与未删除的DataNode的clusterID不一致就会导致该问题的发生。解决方法：① 先停止所有进程② 删除DataNode里的信息（默认在/tmp，如果修改了就在自己配置的目录下）hadoop102/103/104都要删除。
2024-04-15 16:40:39
284
2
原创 Hadoop集群启动的四种方式
使用脚本一键启动集群需要配置slaves配置文件和SSH免密登录hadoop01、hadoop02、hadoop03三台节点（视自身情况而定），为了在任意一台节点上执行脚本一键启动Hadoop服务，需要在三台虚拟机包括自身节点均配置SSH双向免密登录。将脚本放在/usr/bin目录下，创建脚本文件：hadoop.sh。在任意目录下都可以执行脚本文件。
2024-04-14 13:06:43
2616
2
原创 HDFS和YARN概述
4）Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。，如文件名、文件目录结构、文件属性，以及每个文件的块列表和块所在的DataNode等。3）ApplicationManager（AM）：管理单个任务运行。1）ResourceManager（RM）：管理整个集群资源。2）NodeManager（NM）：管理单个节点服务器资源。2集群上可以运行多个Application。（dn）：在本地文件系统。，以及块数据的校验和。注：1客户端可以有多个。
2024-03-16 14:57:42
166
1
原创 Kali Unable to locate package pdfcrack （安装失败）
进入到root 或 在命令前加上sudo。1.打开sources.list文件。然后就可以成功进行安装所需的包。2.在文件中添加以下内容。
2024-03-13 16:52:58
199
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人