![](https://img-blog.csdnimg.cn/20210614152702840.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 51
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理
(YSY_YSY)
有道无术,术尚可求;有术无道,止于术。
展开
-
大数据之就业岗位
1.负责分析大数据平台各个组件运行状态,负责大数据平台运行故障的分析,定位和解决,并根据业务场景进行定制优化2.负责业务集群日常问题的解答、汇总整理、跟踪解决等;3.参与大数据集群自动化运维工具的设计与实施;4.参与新技术、新组件的技术探索、测试和应用。......原创 2022-07-19 11:44:46 · 745 阅读 · 0 评论 -
大数据之YARN架构概述
1)ResourceManager (RM):整个集群资源(内存,CPU等)的老大2)NodeManager (NM) : 单个节点服务器资源老大3)ApplicationMaster (AM):单个任务运行的老大4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存,cpu,磁盘,网络等。说明1:客户端可以有多个说明2:集群上可以运行多个ApplicationMaster说明3:每个NodeManager上可以有多个Container小知识:一个Con原创 2022-07-06 19:25:20 · 329 阅读 · 0 评论 -
大数据介绍
大数据介绍1. 大数据的概念2. 数据分类3. 大数据特点4. 大数据的价值5. 数据来源6. 大数据中的几个核心概念:1. 大数据的概念大数据的概念: 数据的观察 实验的结果2. 数据分类1. 结构化数据 二维表2. 半结构化数据 html,xml,js,css,property3. 非结构化数据 视频,音频,图片3. 大数据特点 海量数据 特点:5v 1. 数据量大 Byte KB MB GB TB PB EB ZB YB BB NB DB 2. 数据种类多原创 2021-06-13 22:13:09 · 239 阅读 · 3 评论 -
hadoop介绍
hadoop介绍1.hadoop的来源2.hadoop的角色分工3.Hadoop的安装模式1.hadoop的来源Google 搜索引擎的 2003年海量数据的存储 GFS google filesystem海量数据计算 MapReduce 编程框架 分布式计算快速查询的机制 bigtableDoug Cutting Lucence 搜索引擎 Nuth 爬虫 海量数据存储 海量数据计算 快速查询 java 语言 实现了google的三篇论文 G原创 2021-06-14 15:25:37 · 184 阅读 · 0 评论