Hadoop学习
Dream_yz
没有最好,只有更好!
展开
-
Hadoop性能调优
Hadoop性能调优1. 简介Hadoop性能调优不仅涉及Hadoop本身的性能调优,还涉及更底层的硬件、操作系统和Java虚拟机等系统的调优。具体包括以下四部分,系统对这几部分适当地进行调优均可能给Hadoop带来性能提升。 **Hadoop(JobTracker, TaskTracker,…) Java Virtual Machine Operating System(CentO原创 2016-11-13 20:07:54 · 9550 阅读 · 0 评论 -
作业提交与初始化过程分析
1 作业提交与初始化过程分析一个MapReduce作业的提交与初始化的过程为:从用户输入提交作业命令到作业初始化的整个过程。此过程设计JobClinet、JobTracker和TaskScheduler三个组件,其功能分别为准备运行环境、接受作业以及初始化作业。1.1 作业提交与初始化概述总体而言,作业提交过程比较简单,它主要为后续作业执行准备环境,主要涉及创建目录、上传文件等操作;而一旦用户提交作原创 2016-11-18 23:28:43 · 2112 阅读 · 0 评论 -
初学Hive数据仓库
初学Hive数据仓库数据仓库:是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,它用于支持企业或组织的决策分析处理。 数据仓库结构 - 数据源:业务数据系统、文档资料、其他数据 - 数据存储及管理:抽取、转换、装载 - 数据仓库引擎:服务器 - 前端展示:数据查询、数据报表、数据分析、各类应用数据仓库中的数据模型:星型模型、雪花模型Hive简介 - Hive是建立在Hadoop原创 2017-03-04 20:58:03 · 650 阅读 · 0 评论 -
Hadoop学习(一)
Hadoop学习大数据简介大数据是一个概念,也是一门技术,是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。大数据包括了以Hadoop和Spark为代表的基础大数据框架,还包括实时数据处理,离线数据处理;数据分析,数据挖掘和用机器算法进行预测分析等技术。hadoop基础Hadoop是一个开源的大数据框架Hadoop是一个分原创 2018-02-06 23:26:57 · 581 阅读 · 0 评论