
Hadoop
Hadoop介绍
yigg
追逐成功的路上只有逆风
展开
-
Hadoop-5.高级应用
目录: yarn 介绍 旧的MapReduce架构和YARN架构对比 yarn的组件介绍 YARN基本流程 MapReduce Shuffle介绍 MapReduce自定义数据类型 MapReduce集群搭建 主流的HADOOP发行版本 怎么将各个集群状态进行可视化?比如hdfs、mapreduce、kafka等等 需求: 一.yarn介绍 1.yarn介绍:ht...原创 2019-01-16 18:45:46 · 536 阅读 · 0 评论 -
Hadoop-4.MapReduce的应用
目录: MapReduce简介 MapReduce应用场景 MapReduce环境搭建 Java操作MapReduce MapReduce程序运行 序列化 RPC协议 MapReduce输入处理类 MapReduce执行过程:MapReduce执行过程简概 一.MapReduce简介 1.概念2.概述 二.MapReduce应用场景 三.MapReduce...原创 2019-01-16 18:44:58 · 797 阅读 · 0 评论 -
Hadoop-3.hdfs集群
目录: 准备三台主机(01主机、02主机、03主机) 修改mac地址 虚拟机-设置-网络适配器-高级-mac地址-生成 修改主机名 执行:hostnamectl set-hostname keduox01/keduox02/keduox03 然后执行注销:logout 重新登录即可看到已经修改 修改ip地址 三台主机安装jdk 在01号主机安装jdk,并配置环境...原创 2019-01-22 23:15:06 · 272 阅读 · 0 评论 -
Hadoop-2.HDFS的应用
目录: HDFS简介 HDFS架构说明 HDFS读文件流程 HDFS写文件流程 HDFS 可靠性 HDFS shell IDEA 开发工具使用 Java 操作HDFS 全分布式集群搭建 一.简介 官方中文文档 HDFS(Hadoop Distributed File System,分布式文件系统)基于Ggoogel发布的GFS论文设计开发,其除具备其他分布式文件系统相同...原创 2019-01-16 18:43:21 · 398 阅读 · 0 评论 -
Hadoop-1.Hadoop入门
目录: Hadoop简介 Hadoop架构 Hadoop目录说明 Hadoop文件系统HDFS介绍 Hadoop环境搭建:伪分布式模式 Hadoop修改存储路径和免密 web界面访问HDFS与java操作HDFS 一.Hadoop简介 请参考自己下载的Hadoop版本对应的文档:Hadoop快速入门中文文档 1.Hadoop的由来 硬盘和服务器的关系:一个服务器可以有多个硬...原创 2019-01-15 23:58:15 · 393 阅读 · 0 评论