hadoop
cwyspy100
这个作者很懒,什么都没留下…
展开
-
hadoop运行java类(读hadoop数据流中例子问题解决)
使用hadoop运行自己写的java类报错: 01/home/hadoop/bin/hadoop MaxTemperature /home/hadoop/input/sample.txt output02Exception in thread "main"java.lang.NoClassDefFoundErro转载 2013-08-15 10:37:18 · 1751 阅读 · 0 评论 -
使用isolationRunner来分析hadoop集群中的task失败
对于使用hadoop进行日志分析等工作的开发者来说,相信一直都面临着一个非常头 疼的问题。那就是:对hadoop的mapreduce作业,在分布式集群上进行单个task的单步debug跟踪调试无法办到。只能在本地进行调试,然 后提交到集群中运行,但是集群中如果某个task总是失败,要对这一个task进行单步跟踪就非常困难。其实原因很简单,因为当把作业提交到hadoop 集群进行运行的时候,你事转载 2013-08-16 16:23:45 · 1138 阅读 · 0 评论 -
Namenode做block Recovery过程详细剖析
hdfs为什么会做block recovery说HDFS的block recovery,其实就是Namenode认为该block的状态需要发生一些变化,其原信息和数据都需要做一些相应的调整(或恢复),原信息的调整在namenode上,而由于数据本身是存储在datanode的磁盘上的,所以数据本身的调整其实是由datanode来完成。那么,为什么Namenode会认为某个block的转载 2013-12-09 15:09:07 · 496 阅读 · 0 评论 -
hadoop namenode启动过程详细剖析及瓶颈分析
NameNode启动过程详细剖析NameNode中几个关键的数据结构FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中,每次保存fsimage之后到下次保存之间的所有hdfs操作,将会记录在editlog文件中,当editlog达到一定的大小(bytes,由fs.checkpoint.size参数定义)或从上次保存过后一定时间段过后(s转载 2013-12-09 14:55:29 · 424 阅读 · 0 评论 -
深入理解Hadoop集群和网络
摘要:本文将着重于讨论Hadoop集群的体系结构和方法,及它如何涉及到网络和服务器基础设施。开始我们先学习一下Hadoop集群运作的基础。导读:云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写,他曾在思科工作多年,专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于转载 2013-12-09 15:34:14 · 426 阅读 · 0 评论 -
Hadoop+Hbase安装配置实录
转载的文章,还没有进行测试,是否可以成功 3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意:hostname设置为master/slave1/slave2操作系统:rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在m转载 2013-12-21 17:11:09 · 392 阅读 · 0 评论 -
Hadoop集群_Hadoop安装配置
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Had转载 2014-06-06 15:20:30 · 574 阅读 · 0 评论 -
Ubuntu12.04下hadoop-2.6.0单机配置和伪分布式配置
目录(?)[-]需要重新编译的教程httpblogcsdnnetggz631047367articledetails42460589在Ubuntu下创建hadoop用户组和用户在Ubuntu下安装JDK安装ssh服务 建立ssh无密码登录本机安装hadoop测试Hadoop伪分布式配置需要重新编译的教程:http://blog.csdn.net/ggz631047367/a转载 2015-09-20 13:38:36 · 388 阅读 · 0 评论 -
ubuntu中jdk被系统jdk覆盖的问题
问题描述:在ubutun12.04上安装好了jdk1.7,后来安装eclipse的时候发现jdk变为1.6,为了改回来,进行了下面的修改,主要参考了http://kinggoo.com/sys-ubuntu-uninstalljdk.htm解决描述如下:1.首先我采用卸载的方式,但是终究太多了,没有卸载成功。2.采用修改系统默认的jdk sudo update-alt原创 2015-09-20 19:37:47 · 560 阅读 · 0 评论