小魏的博客

自定义类：package myhadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class KeyClass implements WritableCo

配置了hadoop ha后，namenode kill后，另一个namenode没有变为active，相当于ha配置白配了。然后看了官网的ha配置，发现是dfs.ha.fencing.methods属性的问题。          我原先是这样配置的： dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key

前提：java，ssh，hosts都配置完了。     master: namenode ,1.

我的mapreduce运行要查询redis的数据，但是报错了。查了资料要引用第三方的jar包。     在Job中添加第三方包。tagJob.addFileToClassPath(new Path("/third_lib/jedis-2.9.0.jar"));tagJob.addFileToClassPath(new Path("/third_lib/commons-pool2-2.2.ja

192.168.0.110 master192.168.0.111 slave1192.168.0.112 slave21.配置jdk另一博客里，三台都要配。2.添加用户hadoopgroupadd hadoopuseradd -g hadoop hadooppasswd hadoopvi /etc/sudoers配置hadoop ALL=(ALL)

1.停止防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service2.selinux改为disablevi /etc/selinux/configSELINUX=disabled

package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had

package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had

package hadoop;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop

package hadoop;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop

jobcontrol可以实现多个job结合起来运行。下面就是有两个job的jobcontrol，第一个job的输出是第二个job的输入。package hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import

运行mapreduce多文件输出试报错。17/06/19 17:25:45 INFO mapreduce.Job: Task Id : attempt_1497864070486_0001_r_000000_2, Status : FAILEDError: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protoco

join1.txt:1 a 2 b3 c4 djoin2.txt:1 1111 2222 3332 4443 5553 6664 7774 8884 999自定义类：package myhadoop;import java.io.DataInput;import java.io.DataOutput;import java.io.

以前都是直接在linux上运行的，昨天配置eclipse连接hadoop，可以正常连接hdfs，但是运行mapreduce的时候就一直有错误，今天终于解决了。我也不知道为什么有这么多错误，我只写我能运行的步骤。       1. 我的hadoop是2.6版本的，就下hadoop-eclipse-plugin-2.6.0.jar，然后放到eclipse插件位置，重启eclipse。