Hadoop学习历程
文章平均质量分 77
Hadoop的学习历程,纪录踩的每一个坑
袁既望
技术是无止境的追求,编码是终生学习的旅程
展开
-
Hadoop高可用集群(HA)一键启动脚本
高可用集群启动时,需要分别在每个节点上都执行zkServer.sh start启动zookeeper,这个过程比较麻烦,并且当我们节点增多时,这个过程无疑不增加了我们的工作量,因此我们可以写一个一键启动所有节点zookeeper的脚本。原创 2023-10-12 10:27:58 · 1040 阅读 · 0 评论 -
jpsall脚本
当一个集群的节点数量增多时,使用jps查看每一个节点的进程这个过程非常繁琐,因此我们可以写一个jpsall脚本,使用循环迭代的方式,在多台远程主机上执行相同的命令,这样就可以节省在每台主机上手动执行命令的时间和精力。并且如果集群规模扩大,需要监控更多的主机,只需在脚本中添加相应的主机名即可。原创 2023-10-11 16:28:50 · 654 阅读 · 0 评论 -
集群分发脚本xysnc
是一个用于在不同计算机之间安全地复制文件和目录的命令行工具。它使用 SSH 协议进行连接和文件传输,提供了加密和身份验证机制,确保数据传输的安全性。`rsync` 是一个功能强大的文件复制和同步工具,可以在本地和远程之间进行文件同步。与 `scp` 不同,`rsync` 可以根据文件的差异进行增量复制,只传输发生变化的部分,从而提高效率和节省带宽。原创 2023-10-11 13:48:14 · 419 阅读 · 0 评论 -
Hadoop伪分布式环境搭建
Hadoop 伪分布式集群是一种在单个节点上模拟分布式环境的配置,用于学习、开发和测试 Hadoop 的功能和特性。它提供了一个简化的方式来体验和熟悉 Hadoop 的各个组件,而无需配置和管理一个真正的多节点集群。在 Hadoop 伪分布式集群中,各个 Hadoop 组件(如 NameNode、DataNode、ResourceManager、NodeManager 等)在同一台机器上运行,并通过配置文件进行连接和通信。原创 2023-10-06 19:10:25 · 2046 阅读 · 0 评论 -
Hadoop 分布式集群搭建教程(2023在校生踩坑版)
在Hadoop01节点上执行以下命令,启动HDFS和YARN:bug1:如果出现类似报错。原创 2023-10-01 17:51:25 · 2394 阅读 · 1 评论