Hadoop学习
文章平均质量分 92
阿团团
这个作者很懒,什么都没留下…
展开
-
《Hadoop权威指南》学习笔记(一)
本博文是我学习《Hadoop权威指南》3.5节的笔记,主要是里面范例程序的实现,部分实现有修改1 从Hadoop读取数据首先新建一个文本文件test.txt作为测试hadoop fs -mkdir /poems //在Hadoop集群上新建一个目录poemshadoop fs -copyFromLocal test.txt /poems/test.txt //将本地test...原创 2018-07-17 15:23:42 · 2205 阅读 · 0 评论 -
《Hadoop Yarn权威指南》学习笔记(一)——Yarn架构
1 ResourceManager组件1.1 客户端和ResourceManager交互用户和平台第一交互点为客户端和ResourceManager的交互,涉及以下组件1.1.1 Client Service该组件处理所有客户端到ResourceManager的远程过程调用(RPC)通信,包括:应用程序提交 应用程序终止 获取应用程序、队列、集群统计、用户ACL及更多信息...原创 2018-08-14 17:02:23 · 938 阅读 · 0 评论 -
《Hadoop Yarn权威指南》学习笔记(零)——Yarn核心概念
本文是我读《Hadoop Yarn权威指南》的笔记,文字部分是书上的内容摘录,如有误欢迎指出yarn的架构图如下1 ResourceManager为系统中所有应用分配资源。有一个可插拔的调度器Scheduler,负责为运行中的各种应用分配资源,使用一个叫Container的抽象概念,其中包括多种资源维度,如CPU、内存、磁盘、网络Scheduler中有三种调度器FIFO...原创 2018-08-10 14:30:43 · 1270 阅读 · 1 评论 -
《Hadoop权威指南》学习笔记(四)
1 Yarn的MapReduce工作流程经典的MapReduce顶层包括5个独立实体 客户端,提交MapReduce作业 YARN资源管理器,协调集群上计算资源分配 YARN节点管理器,负责启动和监视集群中的container MapReduce应用程序master,协调运行中的作业任务 分布式文件系统(一般为HDFS),与其他实体间共享作业文件提交作业的步骤,一张图就可以了,照...原创 2018-08-09 15:35:27 · 453 阅读 · 0 评论 -
《Hadoop权威指南》学习笔记(三)
本博文是我学习《Hadoop权威指南》第5章的笔记,主要是里面范例程序的实现,部分实现有修改1 Mapper测试需要使用mrunit这个jar包,在pom.xml添加dependency的时候,要添加classifier属性不然下载不了jar包,根据自己hadoop-core的版本来确定<dependency> <groupId>org.apache....原创 2018-08-09 10:00:33 · 212 阅读 · 0 评论 -
《Hadoop权威指南》学习笔记(二)
本博文是我学习《Hadoop权威指南》第4章的笔记,主要是里面范例程序的实现,部分实现有修改1、压缩1.1 标准输入压缩后输出新建类StreamCompressorpackage com.tuan.hadoopLearn.io;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io...原创 2018-07-24 17:04:44 · 291 阅读 · 0 评论 -
《Hadoop权威指南》学习笔记(零)
本文是我学习《Hadoop权威指南》第2章的笔记,部分代码有修改1、MapReduce任务新建一个input.txt文本文件,新增6个气温记录,格式是“年份 气温”,随便写,不要在意细节,然后传到集群上新建三个类,分别是Map类,Reduce类,主类package com.tuan.hadoopLearn.mapreduce;import org.apache.hadoo...原创 2018-07-20 10:02:35 · 199 阅读 · 0 评论 -
Windows在Hadoop集群远程运行Avro文件格式的MapReduce任务踩坑经历
初学Avro,用Avro文件作为MapReduce任务的输入输出,踩坑无数,我用的是Centos6.10+Hadoop3.0.3服务器集群,在Windows环境下开发MapReduce1 Avro类找不到最初我开开心心写好了MapReduce运行的时候,在cmd里面运行我的jar包,报错java.lang.ClassNotFoundException: org.apache.avro...原创 2018-07-24 15:20:59 · 1552 阅读 · 0 评论 -
Hadoop提交MapReduce任务后卡在mapreduce.Job: Running job
今天写了一个简单的MapReduce程序,结果一跑就卡在mapreduce.Job: Running job这里,记录一下解决问题的过程,我在一台内存8G的笔记本上用虚拟机搭建集群,三个虚拟机都开了1G内存,Hadoop版本是3.0.3打开对应的url检查job情况(即上图倒数第二行的http://master/cluster/app/application_1531899388083_0...原创 2018-07-18 16:09:13 · 7043 阅读 · 1 评论 -
VirtualBox下 Centos6.10+Hadoop2.6集群搭建 Windows客户端搭建
1 Centos下载安装Centos镜像下载地址https://www.centos.org/download/ 我选择的是DVD版本在VitrualBox里面新建一个虚拟机硬盘给了10G,其他属性默认,开机,选择启动盘,把下载好的镜像放入,开始安装趁安装的时候,在虚拟机上面视图,调成自动缩放模式,如果发现鼠标不见了,按一下键盘右边(注意是右边)的Ctrl,安装的时候根据提...原创 2018-08-15 16:43:41 · 375 阅读 · 0 评论