Hadoop
编程有了模型
一个专注于用模型树学习法搭建计算机领域基础理论知识体系的专栏。
展开
-
MapReduce基础入门
目录1.MapReduce入门1.1.什么是MapReduce1.2.为什么需要MapReduce1.3.MapReduce程序运行演示1.4.MapReduce示例程序编写及编码规范1.5.MapReduce运行方式及Debug2.MapReduce程序的核心运行机制2.1.概述2.2.MapReduce程序的运行流程2.3.MapTask并行度决定机制...原创 2018-11-13 20:12:15 · 387 阅读 · 0 评论 -
Hadoop安装
1、版本选择原则:不选太旧的版本,也不选最新的版本。这里选择hadoop2.7.62、集群规划各个角色在集群中各个节点分配3、依赖准备三台虚拟机,都必须有一个普通用户,用户名和密码均统一。这里用户名和密码均设置为:hadoop1)iphadoop01---192.168.191.201hadoop02---192.168.191.202hadoop03---19...原创 2018-12-18 12:06:11 · 221 阅读 · 0 评论 -
YARN
目录1、YARN概述2、原MapReduce框架的不足3、新版YARN架构的优点4、YARN重要概念4.1、ResourceManager4.2、Nodemanager4.3、MRAppMaster4.4、Container4.5、ASM4.6、Scheduler5、YARN架构及各角色职责6、YARN作业执行流程1、YARN概述YARN(Y...原创 2018-12-14 05:55:38 · 190 阅读 · 0 评论 -
HDFS集群的机架感知
1、背景Hadoop 的设计目的:解决海量大文件的处理问题,主要指大数据的存储和计算问题,其中,HDFS 解决数据的存储问题;MapReduce 解决数据的计算问题Hadoop 的设计考虑:设计分布式的存储和计算解决方案架构在廉价的集群之上,所以,服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对用户存进 HDFS 里的所有数据都做冗余备份,以此保证数据...原创 2018-12-04 21:52:51 · 755 阅读 · 0 评论 -
Hive高级应用
目录1.Hive shell 操作1.1.Hive 命令行1.1.1.进入hive的客户端之后1.1.2.进入hive的客户端之前1.2.Hive 参数配置方式2.数据倾斜2.1.什么是数据倾斜?2.2.Hadoop框架的特定2.3.主要表现2.4.容易数据倾斜的情况2.5.产生数据倾斜的原因2.6.业务场景3.Hive 执行过程实例分析3....原创 2018-11-26 22:48:36 · 1332 阅读 · 0 评论 -
HDFS原理剖析
目录1.HDFS工作机制1.1.概述1.2.HDFS写数据流程1.2.1.概述1.2.2.详细步骤图1.2.3.详细步骤文字说明1.3.HDFS读数据流程1.3.1.概述1.3.2.详细步骤图1.3.3.详细步骤文字说明2.NameNode工作机制2.1.NameNode职责2.2.NameNode元数据管理2.3.NameNode元数据存...原创 2018-11-14 20:43:08 · 157 阅读 · 0 评论 -
HDFS基础使用
目录1.HDFS前言2.HDFS相关概念和特性2.1.HDFS设计思路2.2.HDFS架构2.3.概念和特性3.HDFS优缺点3.1.HDFS优点3.2.HDFS缺点4.HDFS的shell(命令行客户端)操作5.HDFS的Java API操作5.1.利用eclipse查看hdfs集群的文件信息5.2.搭建开发环境5.3.FileSystem实例...原创 2018-11-14 19:54:57 · 12885 阅读 · 0 评论 -
MapReduce常用三大组件
目录1.流量统计项目案例1.1.数据样例1.2.需求2.MapReduce中的Combiner2.1.什么是Commbiner2.2.如何使用Combiner2.3.使用Combiner注意事项3.MapReduce中的序列化3.1.概述3.2.Java序列化3.3.自定义对象实现MapReduce框架的序列化4.MapReduce中的Sort5...原创 2018-11-13 20:56:41 · 3154 阅读 · 0 评论 -
集群安装中遇到的问题
1、格式化的时候配置文件错错误日志:Caused by: org.xml.sax.SAXParseException; systemId: file:/home/hadoop/apps/hadoop-2.7.6/etc/hadoop/hdfs-site.xml; lineNumber: 44; columnNumber: 1; XML document structures must st...原创 2018-12-18 12:03:01 · 2982 阅读 · 1 评论