Hadoop大数据应用
文章平均质量分 90
Hadoop大数据应用
cronaldo91
这个作者很懒,什么都没留下…
展开
-
Hadoop大数据应用:NFS网关 连接 HDFS集群
(19)修改NFS网关配置文件 (nfsgateway节点)(8)同步Hadoop配置 (hadoop节点)SecondaryNameNode (已部署)(17)关闭安全机制(需要reboot重启)(14)卸载 (nfsgateway节点)(7)查看 (nfsgateway节点)(4)安装NFS (node05节点)(1)安装NFS (node04节点)NodeManager(已部署)NodeManager(已部署)NodeManager(已部署)NameNode (已部署)(18)同步hadoop配置。原创 2024-03-14 21:49:06 · 1156 阅读 · 0 评论 -
Hadoop大数据应用:Yarn 节点实现扩容与缩容
(7)域名主机名(hadoop节点)(10) 清除日志(node05节点)(11)启动服务 (node05节点)(15) 验证 (hadoop节点)(1)删除节点 (node05节点)(3) 停止服务(hadoop节点)(6)再次验证 (hadoop节点)地址为192.168.204.55。(4)启动服务(hadoop节点)NodeManager(已部署)NodeManager(已部署)NodeManager(已部署)(2)验证 (hadoop节点)(5)验证 (hadoop节点)原创 2024-03-14 18:28:23 · 1170 阅读 · 0 评论 -
Hadoop大数据应用:HDFS 集群节点缩容
node02: 280KB (约等于0.28M )node04: 8KB (约等于0.008M)SecondaryNameNode (已部署)ResourceManager(已部署)(9)修改配置文件(hadoop节点)(7)再次查看节点状态 (已使用)NodeManager(已部署)NodeManager(已部署)NodeManager(已部署)(1)查看节点状态 (已使用)NameNode (已部署)DataNode(已部署)DataNode(已部署)DataNode(已部署)原创 2024-03-14 17:21:50 · 1457 阅读 · 0 评论 -
Hadoop大数据应用:HDFS 集群节点扩容
(11)查看slaves (hadoop节点)SecondaryNameNode (已部署)ResourceManager(已部署)(7)域名主机名(hadoop节点)(10) 清除日志(node04节点)(14)启动服务 (node04节点)(15) 验证 (hadoop节点)000为KB,000000为MB,NodeManager(已部署)NodeManager(已部署)NodeManager(已部署)NameNode (已部署)DataNode(已部署)DataNode(已部署)原创 2024-03-14 15:22:09 · 1341 阅读 · 0 评论 -
Hadoop大数据应用:Linux 部署 MapReduce 与 Yarn
SecondaryNameNode (已部署)DataNode节点查看(node01)DataNode节点查看(node02)DataNode节点查看(node03)(2)查看mapreduce配置文件。新增ResourceManager。NameNode (已部署)(1) 查看yarn配置文件。DataNode(已部署)DataNode(已部署)DataNode(已部署)(2) 查看jps进程。(3) web页面访问。(4)启动yarn服务。(2) 修改配置文件。(7)web页面访问。原创 2024-03-14 14:15:32 · 1126 阅读 · 0 评论 -
Hadoop大数据应用:Linux 部署 HDFS 分布式集群
(需要修改环境配置文件hadoop-env.sh 申明JAVA安装路径和hadoop配置文件路径)ssh-copy-id 未对本地主机验证。datanode节点查看(node01)datanode节点查看(node02)datanode节点查看(node03)ssh-copy-id 对本地主机验证。(7)hadoop节点创建密钥。查看日志(新生成logs目录)(10)修改HDFS配置文件。(9)查看HDFS配置文件。(6)修改节点配置文件。(8)修改核心配置文件。(18)web页面验证。原创 2024-03-14 11:46:45 · 1192 阅读 · 0 评论