大海

public class WriteReadSequenceFileTest { /** * @param args */ public static void main(String[] args) { Configuration conf=new Configuration(); conf.set("fs.default.name", "hdfs://172...

因为不是太复杂，所以只贴代码了，有注释，相信朋友没都能看懂。public static void main(String[] args) { //在本地windows平台eclipse运行mapreduce程序 //创建远程用户，以指定的用户来运行程序 //把要运行的程序代码放到run方法体里 UserGroupInformation ugi = Us...

由于Hadoop默认编码为UTF－8，并且将UTF－8进行了硬编码，所以我们在处理中文时需要重写OutputFormat类。方法为：1、新建类GBKFileOutputFormat，代码如下：import java.io.DataOutputStream;  import java.io.IOException;  import java.io.UnsupportedEncodingExce...

hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。其中从0.20.x 分支发展出来的是：hadoop1.0，CDH3从0.23.x 分支发展出来的是：hadoop-alpha，CDH4下面具体说hadoop1.0、2.0 和CDH3、CDH4：Apache Hadoop 2012年10月02...

[code="java"]public class MyAction { public static void main(String[] args) { UserGroupInformation ugi = UserGroupInformation.createRemoteUser("hadoop"); ugi.doAs(new PrivilegedAction() ...

一.崩溃原因搭建的是一个hadoop测试集群，所以将数据备份参数设置为dfs.replication=1,这样如果有一台datanode损坏的话，数据就会失去。但不幸的是，刚好就有一台机器由于负载过高，导致数据操坏。进而后面需要重启整个hadoop集群,重启后启动namenode启动不了。报如下错误: FSNamesystem initialization failed saveLease...

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。1、下载地址：http://sqoop.apache.org/2、修改SQOOP的文件configure-sqoop，注释掉hbase和...