
Hadoop 教程
文章平均质量分 83
详细讲解 Hadoop 运行环境、概念、配置与使用、编程等方面,适合零基础学员学习,让您对 Hadoop 有更深的了解。
凭空起惊雷
座右铭:学如逆水行舟,不进则退。学无止境,立志于学问。
我是一名热衷于编程和学习的程序员。我拥有计算机科学学士学位,我对Java、Python、C++等
编程语言和开发技术都有深入的了解和实践经验。
注重青少年的成长发展,利用工作之余发布Scratch的优秀资源。
我擅长于设计和开发高效、可扩展的软件系统,并注重代码的质量和可维护性。
除了工作,我还是一个热爱学习的人,不断追求新的知识和技术。我相信,只有不断学习和提高自己的技能,才能够在这个快速发展的行业中保持竞争力。
我是一个热爱编程、注重细节的程序员,希望我能够在未来的职业生涯中不断发展和成长。
展开
-
MapReduce 编程
在学习了 MapReduce 的使用之后,我们已经可以处理 Word Count 这类统计和检索任务,但是客观上 MapReduce 可以做的事情还有很多。MapReduce 主要是依靠开发者通过编程来实现功能的,开发者可以通过实现 Map 和 Reduce 相关的方法来进行数据处理。为了简单的展示这一过程,我们将手工编写一个 Word Count 程序。原创 2023-05-08 19:46:10 · 108 阅读 · 0 评论 -
MapReduce 使用
在学习了之前的 MapReduce 概念之后,我们应该已经知道什么是 Map 和 Reduce,并了解了他们的工作方式。本章将学习如何使用 MapReduce。原创 2023-05-06 19:57:31 · 256 阅读 · 0 评论 -
HDFS 集群
HDFS 集群是建立在 Hadoop 集群之上的,由于 HDFS 是 Hadoop 最主要的守护进程,所以 HDFS 集群的配置过程是 Hadoop 集群配置过程的代表。使用 Docker 可以更加方便地、高效地构建出一个集群环境。原创 2023-05-06 19:55:49 · 139 阅读 · 0 评论 -
HDFS 配置与使用
Hadoop 仅作为库存在,可以在单计算机上执行 MapReduce 任务,仅用于开发者搭建学习和试验环境。此模式 Hadoop 将以守护进程的形式在单机运行,一般用于开发者搭建学习和试验环境。此模式是 Hadoop 的生产环境模式,也就是说这才是 Hadoop 真正使用的模式,用于提供生产级服务。原创 2023-05-06 19:54:21 · 767 阅读 · 0 评论 -
Hadoop 概念
本章着重介绍 Hadoop 中的概念和组成部分,属于理论章节。如果你比较着急可以跳过。但作者不建议跳过,因为它与后面的章节息息相关。原创 2023-05-05 21:28:57 · 2060 阅读 · 1 评论 -
Hadoop 运行环境
为了解决这些问题,我们有一个非常成熟的方式。Docker 是一个容器管理系统,它可以向虚拟机一样运行多个"虚拟机"(容器),并构成一个集群。因为虚拟机会完整的虚拟出一个计算机来,所以会消耗大量的硬件资源且效率低下,而 Docker 仅提供一个独立的、可复制的运行环境,实际上容器中所有进程依然在主机上的内核中被执行,因此它的效率几乎和主机上的进程一样(接近100%)。本教程将会以 Docker 为底层环境来描述 Hadoop 的使用,如果你不会使用 Docker 并且不了解更好的方式,请学习。原创 2023-05-05 21:27:57 · 193 阅读 · 0 评论 -
Hadoop 教程
HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。原创 2023-05-05 21:19:53 · 113 阅读 · 0 评论