(二)算法工程师遇上大数据-Hadoop

最新推荐文章于 2024-07-23 12:00:20 发布

winner8881

最新推荐文章于 2024-07-23 12:00:20 发布

阅读量373

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_22866291/article/details/115428314

版权

大数据专栏收录该内容

16 篇文章 1 订阅

订阅专栏

本文深入介绍了Hadoop，一个用于大规模数据处理的开源框架，由Java编写。Hadoop包括HDFS和MapReduce核心组件，提供分布式存储和计算能力。适合大数据存储、日志分析、ETL、机器学习、搜索引擎和数据挖掘等场景。通过快速入门教程，读者可以了解Hadoop的基本概念和使用。

摘要由CSDN通过智能技术生成

系列文章目录

(一)算法工程师遇上大数据-Scala
(二)算法工程师遇上大数据-Hadoop
(三)算法工程师遇上大数据-Hive
(四)算法工程师遇上大数据-Zookeepr
(五)算法工程师遇上大数据-Flume
(六)算法工程师遇上大数据-Strom
(七)算法工程师遇上大数据-Kafka
(八)算法工程师遇上大数据-Spark
(九)算法工程师遇上大数据-Flink

在这里插入图片描述

前言

本文主要介绍HDFS之Hadoop。

一、介绍

Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进行分布式储存和读取。MapReduce是一个计算框架：MapReduce的核心思想是把计算任务分配给集群内的服务器里执行。通过对计算任务的拆分（Map计算/Reduce计算）再根据任务调度器（JobTracker）对任务进行分布式计算，擅长于：

     >> 大数据存储：分布式存储
     >> 日志处理：擅长日志分析
     >> ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库
     >> 机器学习: 比如Apache Mahout项目
     >> 搜索引擎:Hadoop + lucene实现
     >> 数据挖掘：目前比较流行的广告推荐，个性化广告推荐
     >> Hadoop是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。