- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据技术之Hadoop-YARN架构
Apache Hadoop YARNYARN的基本思想是将资源管理和作业调度以及监控的功能拆分为单独的守护进程。这种架构思想是拥有一个全局的ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。应用程序可以是单个作业，也可以是作业的DAG。ResourceManager和NodeManager组成数据计算框架。ResourceManager是具有在系...
2019-12-31 14:38:29
187
2
原创 大数据技术之Hive入门
大数据技术之Hive入门安装和配置前提要求安装稳定版本的Hive使用源代码构建Hive在master分支上编译Hive在branch-1分支上编译Hive在Hadoop 0.20上编译Hive到0.13之前在Hadoop 0.23上编译Hive到0.13之前运行Hive运行Hive CLI运行HiveServer2和Beeline运行HCatalog运行WebHCat（Templeton）配置管理...
2019-12-17 10:18:09
478
原创 初识大数据技术之Hive
初识大数据技术之HiveAPACHE HIVE TMApache Hive软件入门参与Apache Hive社区APACHE HIVE TMApache Hive™数据仓库软件有助于使用SQL读取，写入和管理保存在分布式存储中的大型数据集。可以将数据存储的结构投影到已经存储的数据上。为用户提供了命令行工具和JDBC驱动程序以连接到Hive。Apache Hive软件入门在Hive Wi...
2019-12-10 15:49:34
166
原创 大数据技术之Hadoop-MapReduce教程
大数据技术之Hadoop-MapReduce教程目的前提要求概览输入和输出示例：WordCount v1.0源码用法实战演练MapReduce-用户接口核心Mapper有多少个Map？ReducerShuffle排序二次排序Reduce有多少Reduces？没有Reduces分区器计数器目的本文档全面描述了Hadoop MapReduce框架中面向用户的方方面面，并将其作为教程。前提要求...
2019-12-06 16:50:10
1345
原创 大数据技术之Hadoop-HDFS用户指南
HDFS用户指南目的概览前期准备Web页面Shell 命令DFSAdmin命令Secondary NameNode检查点节点备份节点导入检查点均衡器机架识别安全模式目的本文档是使用Hadoop分布式文件系统（HDFS）作为Hadoop集群的一部分或作为独立的通用分布式文件系统的用户的起点。尽管HDFS旨在在许多环境中“正常工作”，但是了解HDFS的工作机制可极大地帮助改进特定集群上的配置和进行...
2019-11-22 17:21:54
717
原创 大数据技术之Hadoop-HDFS架构
大数据技术之Hadoop-HDFS架构官方网站简介假设与目标硬件故障流式数据访问大数据集简单一致性模型“移动计算比移动数据便宜”跨异构硬件和软件平台的可移植性NameNode和DataNodes文件系统命名空间数据副本第一步：副本的存放官方网站HDFS架构简介Hadoop分布式文件系统（HDFS）是一种旨在在商品硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其...
2019-11-19 17:05:06
366
原创 初识大数据技术之Hadoop
初识大数据技术之HadoopHadoop概述Hadoop官方文档Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。而不是依赖硬件来提供高可用性，Apache Hadoop软件库本身...
2019-11-13 10:18:01
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人