![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 85
william.zhang(张)
2017年开始写代码,目前担任开发经理一职
一直以来从事B端工作,2019年开始带团队
2021年获得PMP证书
更新迭代了3年数据平台
分享一些日常工作中获取的经验
欢迎铁子们点赞关注
展开
-
Hadoop入门基础(三):Hadoop启动踩坑记录
修改hadoop22为真实的ip地址,然后sbin/stop-yarn.sh,再sbin/start-yarn.sh即可。修改hadoop21为真实的ip地址,然后sbin/stop-dfs.sh,再sbin/start-dfs.sh即可。检查hadoop的安装目录下找到 etc/hadoop/hdfs-site.xml。检查hadoop的安装目录下找到 etc/hadoop/yarn-site.xml。在hadoop的安装目录下找到 etc/hadoop/hadoop-env.sh。原创 2024-08-20 18:23:09 · 247 阅读 · 0 评论 -
Hadoop入门基础(三):如何巧妙划分Hadoop集群,全面提升数据处理性能?
Hadoop集群的划分是一个复杂且需要深思熟虑的过程。合理的集群划分不仅能提高系统性能,还能降低运维难度。本文从基本架构、常见划分模式、关键因素和最佳实践四个方面为你详细介绍了Hadoop集群划分的技巧。希望这些内容能帮助你更好地设计和优化Hadoop集群,为大数据应用提供稳定、高效的支持。原创 2024-08-20 15:17:00 · 397 阅读 · 0 评论 -
Hadoop入门基础(一):深入探索Hadoop内部处理流程与核心三剑客
Hadoop是Apache Software Foundation开发的一个开源分布式计算框架,旨在使用简单的编程模型来处理大规模数据集。它的优势在于能够以横向扩展的方式处理大量数据,使得数据分析在廉价硬件集群上变得可行。Hadoop的三大核心组件分别是:HDFS(Hadoop Distributed File System)、YARN(Yet Another Resource Negotiator)和MapReduce。这三者协同工作,共同实现了Hadoop的分布式存储与计算能力。原创 2024-08-15 15:52:34 · 1080 阅读 · 0 评论