Hadoop
文章平均质量分 87
qianshanding0708
精于此道、乐于此道、以此为生
展开
-
Hadoop之命令集合(全)
Hadoop命令系列文章共5篇,链接地址如下: Hadoop之文件系统Shell Hadoop之命令指南 Hadoop之HDFS命令 Hadoop之MapReduce命令 Hadoop之YARN命令 希望对大家能有所帮助,不正确的地方希望留言讨论。...原创 2015-08-19 23:59:06 · 2855 阅读 · 0 评论 -
Hadoop之HDFS命令
概述所有的HDFS命令都调用bin/hdfs脚本文件,如果运行hdfs脚本没有带任何参数的话,则打印所有命令的描述。 使用: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]Hadoop是一个参数解析框架,采用解析泛型选项以及运行类。命令参数 描述 --config--loglevel ...原创 2015-08-19 13:46:56 · 5756 阅读 · 0 评论 -
Hadoop之机房down机后...
由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html提示:NameNode is still loading. Redirecting to the Startup Progress page.如图:这个不是错误。因为hadoop启动时,会进入安全模式进...原创 2015-08-17 12:33:07 · 6474 阅读 · 0 评论 -
Hadoop之命令指南
概述所有的Hadoop命令都通过bin/hadoop脚本调用。在没有任何参数的情况下,运行Hadoop脚本将打印该命令描述。 [hduser@hadoop3 hadoop-2.4.1]$ bin/hadoopUsage: hadoop [--config confdir] COMMAND where COMMAND is one of: fs ...原创 2015-08-07 10:43:30 · 5101 阅读 · 0 评论 -
Ivy安装及编译hadoop2x-eclipse-plugin
之前项目一直采用Maven构建(Maven构建真正的J2EE项目)。最近在github下载一些源码来编译,发现很多项目都开始支持apache Ivy。至此以hadoop2x-eclipse-plugin为例,写篇文章记录一下。Apache Ivy 是一个优秀的管理(记录、跟踪、解析和报告)项目依赖的工具,可与Apache Ant紧密集成。本篇以2.4.0版本为基础。Apache Ivy安装...原创 2015-12-15 10:39:09 · 2369 阅读 · 0 评论 -
Hadoop之Linux源码编译
Hadoop开篇,按惯例,先编译源码,导入到Eclipse,这样以后要了解那块,或者那块出问题了,直接找源码。原创 2015-08-15 10:53:26 · 3180 阅读 · 1 评论 -
Hadoop之YARN及运行流程
YARN是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN通用资源管理框架组成部分:1,ResourceManager(RM):由Scheduler(资源调度器)和ApplicationsManager(ASM:应用管理器)2个组件组成。RM和每个NodeManager (NM)构成一个资源估算框架,管...原创 2015-07-22 18:11:48 · 5476 阅读 · 2 评论 -
Hadoop之集群设置
一,目的如何配置Hadoop集群,如果只是简单的玩玩hadoop(看 Single Node Setup)。该篇不包含Hadoop的一些高级特别,如安全和高可用等。 二,安装参考: Hadoop2.2.0分布式安装(详细) 三,非安全模式配置Hadoophadoop的配置是由下列两种类型的配置文件驱动的: 1,只读默认配置core-default.xml,...翻译 2015-08-04 20:50:56 · 3174 阅读 · 0 评论 -
Hadoop之机架感知
在分布式集群下,由于机架的的槽位和交换机网口数量的限制,使得集群上的机器不得不跨越机架,通常一个大型的集群会跨越很多机架。一般情况机架内机器的通讯会快于跨机架机器之间的通讯,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 通过机架感知,可以带来性能和安全性的提升,例如:HDFS块为了故障容错,采用机架感知按到一定的策略将某些块放置在不同的机架上,这样就算一个机架瘫痪也不会影...原创 2015-08-05 17:19:06 · 6025 阅读 · 0 评论 -
Hadoop2.4.1分布式安装(详细)
安装环境:10.0.1.65 hadoop2namenode110.0.1.66 hadoop2namenode210.0.1.67 hadoop2resourcemanager10.0.1.68 hadoop2datanode110.0.1.69 hadoop2datanode210.0.1.70 hadoop2datanode310.0.1.71 hadoop2datanod...原创 2015-12-21 15:39:09 · 1760 阅读 · 0 评论 -
Hadoop之MapReduce的两种任务模式
MapReduce按照任务大小和设置的不同,提供了两种任务模式: 客户端通过org.apache.hadoop.mapreduce.protocol.ClientProtocol与服务端通信,ClientProtocol的继承关系:老一些的版本还有一个JobTracker的实现类,即:classic。用于和MapReduce1.X兼容用的,高一些的版本已经没有这个实现类了。一,...原创 2015-08-16 14:11:51 · 7453 阅读 · 1 评论 -
MapReduce:详解Shuffle过程
转载:http://doudouclever.blog.163.com/blog/static/175112310201271043210475/Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job...转载 2015-07-18 17:32:08 · 1934 阅读 · 0 评论 -
Hadoop之推测执行
最近在测试环境跑任务,有一部分任务出现如下情况:推测执行(Speculative Execution)是指在集群环境下运行MapReduce,可能是程序Bug,负载不均或者其他的一些问题,导致在一个JOB下的多个TASK速度不一致,比如有的任务已经完成,但是有些任务可能只跑了10%,根据木桶原理,这些任务将成为整个JOB的短板,如果集群启动了推测执行,这时为了最大限度的提高短板,Hadoo...原创 2015-08-13 16:55:32 · 10887 阅读 · 1 评论 -
Hadoop之文件系统Shell
概述: 文件系统(FS)Shell包含各种类-Shell的命令,直接和Hadoop分布式文件系统(HDFS)交互,也支持对其他文件系统的支持,例如:本地文件系统FS,HFTP FS,S3 FS,和其他。FS Shell的调用: bin/hadoop fs <args> 所有的FS shell命令都要带URI路径作为参数,URI的格式是:scheme://au...原创 2015-08-08 14:17:40 · 4059 阅读 · 1 评论 -
Hadoop之YARN命令
概述YARN命令是调用bin/yarn脚本文件,如果运行yarn脚本没有带任何参数,则会打印yarn所有命令的描述。使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]YARN有一个参数解析框架,采用解析泛型参数以及运行类。 命令参数 描述...原创 2015-08-11 09:41:46 · 27028 阅读 · 0 评论 -
Hadoop之MapReduce命令
概述 所有的Hadoop命令都通过bin/mapred脚本调用。在没有任何参数的情况下,运行mapred脚本将打印该命令描述。使用:mapred [--config confdir] COMMAND[hadoop@hadoopcluster78 bin]$ mapredUsage: mapred [--config confdir] COMMAND where C...原创 2015-08-13 16:26:43 · 8062 阅读 · 0 评论 -
Hadoop之SequenceFile
Hadoop序列化文件SequenceFile可以用于解决大量小文件(所谓小文件:泛指小于black大小的文件)问题,SequenceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将<key,value>对序列化到文件中,一般对小文件可以使用这种文件合并,即将文件名作为key,文件内容作为value序列化到大文件中。 hadoop A...原创 2015-08-14 19:50:48 · 8504 阅读 · 3 评论 -
Hive表导入Elasticsearch
Hive表导入Elasticsearch原创 2015-12-24 21:05:09 · 9266 阅读 · 1 评论