![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 67
whsq1987
一位普通的大学生
展开
-
Reduce作业运行时错误:Too many fetch-failures
root@ubuntu:/usr/local/hadoop# bin/hadoop jar hadoop-*-examples.jar wordcount /test1 /test2 11/11/22 20:42:33 INFO input.FileInputFormat: Total input paths to process : 14 11/11/22 20:42:33 INFO mapr...原创 2013-04-24 21:19:11 · 156 阅读 · 0 评论 -
hadoop hbase svn site
hadoop hbase svn site博客分类: hadoophadoop:http://hadoop.apache.org/common/version_control.html http://svn.apache.org/repos/asf/hadoop/common/trunk/OverviewThe Hadoop ...原创 2012-12-13 10:49:24 · 330 阅读 · 0 评论 -
Hadoop -【IO专题-序列化机制】
引自http://blog.sina.com.cn/s/blog_48a45b950100sz4x.html 1. 基本概念 序列化可被定义为将对象的状态存储到存储媒介中的过程。在此过程中,对象的公共字段和私有字段以及类的名称(包括包含该类的程序集)都被转换为字节流,然后写入数据流。在以后反序列化该对象时,创建原始对象的精确复本。 当在面向对象的环境...原创 2012-12-17 10:32:54 · 86 阅读 · 0 评论 -
HDFS之SequenceFile和MapFile
引自http://blog.csdn.net/javaman_chen/article/details/7241087HDFS之SequenceFile和MapFile Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的,在小文件的处理上不但效率低下,而且十分消耗磁盘空间(每一个小文件占用一个Block,HDFS默认block大小为64M)。解决办法通常...原创 2012-12-17 11:37:51 · 52 阅读 · 0 评论 -
Hadoop HDFS 编程
引自http://blog.csdn.net/lmc_wy/article/details/6060746Hadoop HDFS 编程2010-12-07 15:11 2102人阅读 评论(0) 收藏 举报 HDFS是一个分布式文件系统,然而对于程序员来说,HDFS就是一个普通文件系统,Hadoop进行的底层封装,程序员按照相应的API来对HDFS上的文件操...原创 2012-12-18 17:38:14 · 89 阅读 · 0 评论 -
HADOOP中DATANODE无法启动
摘要:该文档解决了多次格式化文件系统后,datanode无法启动的问题一、问题描述 当我多次格式化文件系统时,如 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format 会出现datanode无法启动,查看日志,发现错误为: 201...原创 2012-12-22 20:43:52 · 68 阅读 · 0 评论 -
hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法
引自 http://blog.csdn.net/irelandken/article/details/8122474第一步 ,环境准备. 服务器3台,可以用3个虚拟机代替.操作系统.CentOS 6.3 64hadoop版本hadoop 1.1.0 rpm开始安装以下所有的操作,都是用 root 身份执行以下安装,需要在每台机器上面安装. 下载好 jdk-7u9-linux-x...原创 2012-12-22 20:45:06 · 85 阅读 · 0 评论 -
Hadoop运行报错: java.lang.ClassNotFoundException解决方法
在创建自定义的Mapper时候,编译正确,但上传到集群执行时出现错误:11/12/11 22:53:16 INFO mapred.JobClient: Task Id : attempt_201111301626_0015_m_000000_0, Status : FAILEDjava.lang.RuntimeException: java.lang.ClassNotFoundExcepti...原创 2012-12-27 16:44:42 · 1526 阅读 · 0 评论 -
hadoop各种输入方法(InputFormat)汇总
引自http://www.blogjava.net/shenh062326/archive/2012/07/03/hadoop.htmlmapreduce中,一个job的map个数, 每个map处理的数据量是如何决定的呢? 另外每个map又是如何读取输入文件的内容呢? 用户是否可以自己决定输入方式, 决定map...原创 2013-01-04 17:02:37 · 663 阅读 · 0 评论 -
MultipleOutputFormat和MultipleOutputs
引自http://www.cnblogs.com/liangzh/archive/2012/05/22/2512264.html一,介绍1,旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputsMultipl...原创 2013-01-04 17:26:19 · 77 阅读 · 0 评论 -
hadoop问题Type mismatch in value from map解决方法
hadoop问题Type mismatch in value from map解决方法分类: hadoop2012-08-27 18:27 113人阅读 评论(0) 收藏 举报 12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your p...原创 2012-12-13 10:49:07 · 131 阅读 · 0 评论 -
hadoop项目svn地址
http://svn.apache.org/repos/asf/hadoop/common/trunk/原创 2012-12-11 18:11:04 · 161 阅读 · 0 评论 -
Hadoop错误一的解决猜测
如果出现:java.lang.NullPointerExceptionat org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.jav...原创 2013-04-26 10:29:44 · 85 阅读 · 0 评论 -
hadoop 比较好的博客
http://dongxicheng.org好的书http://dongxicheng.org/mapreduce/hadoop-books/原创 2013-04-27 17:35:28 · 94 阅读 · 0 评论 -
hadoop动态增加删除节点
在master的conf/hdfs-site.xml中加入<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>在$HADOOP_HOME下创建exclueds文件文件内容增加你想删除的节点,一行一个/bin/...原创 2013-04-28 09:54:26 · 113 阅读 · 0 评论 -
Apache Pig的一些基础概念及用法总结(1
引自http://www.codelast.com/?p=3621 本文可以让刚接触pig的人对一些基础概念有个初步的了解。 本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程(由Google搜索可知),文中的大量实例都是作者Darran Zhang(website: codelast.com)在工作、学习中总结的经验或解决的问题,并且添加了较为详尽的说明及...原创 2013-05-08 16:01:02 · 162 阅读 · 0 评论 -
hadoop视频
http://pan.baidu.com/share/link?shareid=412520&uk=4061509355#dir 百度网盘:链接:http://pan.baidu.com/share/link?shareid=467813&uk=772112791 提取密码: 9k6g http://dl.vmall.com/c0ba3va3te...原创 2013-05-10 09:35:10 · 1140 阅读 · 0 评论 -
Apache Pig中文教程(进阶)
引自http://www.codelast.com/?p=4249原创 2013-05-13 17:18:57 · 79 阅读 · 0 评论 -
Hadoop在CentOS下的单机配置
引自 http://www.linuxidc.com/Linux/2011-07/37992.htm前言的前言如果你做某件从未接触过的事的时候很纠结很曲折,那么为你自己高兴吧,你能学到很多东西!以下的东西都是贴图,所以你们只有手敲了。我也不清楚这个东西是不是应该花很多时间去做,有得有失,某些付出不知道到底值多少。据**说一下午都能配出来,谁叫我傻呢,谁叫我蠢呢,不过该走的路咱还是踏实点...原创 2012-12-11 15:41:28 · 60 阅读 · 0 评论 -
Hadoop实例WordCount程序一步一步运行
虽说现在用Eclipse下开发Hadoop程序很方便了,但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记,记录下来以备查。 1. 经典的WordCound程序(WordCount.java),可参见 hadoop0.18文档import java.io.IOException;import java.util.ArrayList;import java.uti...原创 2012-12-11 16:32:12 · 60 阅读 · 0 评论 -
在Eclipse中导入hadoop
0. 准备(1) 需要有gcc、autoconf、automake来编译安装google的protocol bufferhttp://code.google.com/p/protobuf/downloads/list(2) http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz./configure --...原创 2012-12-11 18:03:08 · 103 阅读 · 0 评论 -
大数据方面的文章
http://bbs.e-works.net.cn/forum.php?mod=viewthread&tid=181701&fromuid=635043原创 2013-07-29 17:01:49 · 464 阅读 · 0 评论