Hadoop与关系数据库

Hadoop对关系数据库无非两种操作，即从关系数据库输入到HDFS和从HDFS输出到关系数据库。Hadoop中分别提供了DBInputFormat类和DBOutputFormat类，前者用于从关系数据库输入到HDFS,该类将关系数据库中的一条记录作为向Mapper输入的value值，后者用于将HDFS中的文件输出到关系数据库，该类将Reducer输出的key值存储到数据库。我们只要在主程序中设置job的输入输出格式为这两个类中的一种，就可以让Hadoop从关系数据库输入或者向关系数据库输出。
正如我上面提到的，我们在操作的过程中使用了“记录”这个对象，因此需要写一个类对应到关系数据库中我们要操作的那个表，这个类要实现DBWritable接口和Writable接口，具体参见HadoopAPI。
具体代码参见文档。

import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.lib.db.*;
import java.sql.*;
import java.io.*;
import java.util.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.mapred.*;
import org.apache.hadoop.fs.Path;

public class SDBConnInput {
	public static class CustomerRecord implements Writable,DBWritable{
		String customerID;
		String customerName;
		String phoneNumber;
		public void readFields(ResultSet resultSet)  throws SQLException{
			customerID=resultSet.getString(1);
			customerName=resultSet.getString(2);
			phoneNumber=resultSet.getString(3);
			}
		public void write(PreparedStatement statement)  throws SQLException{
			statement.setString(1, customerID);
			statement.setString(2, customerName);
			statement.setString(3,phoneNumber);
		}
			 
		 public void readFields(DataInput in) throws IOException{
			 customerID=in.readUTF();
			 customerName=in.readUTF();
			 phoneNumber=in.readUTF();
		 }
		 public void write(DataOutpu