mapreduce写出到mysql_[Hadoop] 利用 MapReduce 导入数据到 MySQL #1

摘要:[Hadoop] 利用 MapReduce 导入数据到 MySQL #1

最近和日本总合技术研究院(AIST)有一个合作机会，AIST发射了一颗卫星，这颗卫星会绕着月球运行，搜集月球上的资讯，做为研究月球的基础数据。但这些数据目前AIST利用 PostgreSQL来保存，总数据笔数约4.5亿笔，数据保存量约1TB，AIST估算大概需要4年时间才能够将数据导入到数据库中，花费的时间太长了。 而我们与AIST的合作，就是要评估利用 Hadoop HBase来解决这个问题的可行性。AIST先提供了部分数据供我们做测试，数据本身已经处理成 CSV 格式文件，纯文字模式对于 Hadoop 而言，是做容易处理的文件格式。

而为了进行测试及比较，所以需要先将这些测试数据也导入到 RDBMS ，以做为比较的基准，但是要怎么导入这些测试数据呢？因为最终要用的是 Hadoop，所以当然就用 MapReduce 来处理了，顺便也练习一下 MapReduce 的程序撰写方法。

package MapReduceTest;

import java.io.IOException;

import java.sql.DriverManager;

import java.sql.SQLException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

import com.mysql.jdbc.Connection;

import com.mysql.jdbc.PreparedStatement;

public class DataImportor {

public static class ImportMapper extends Mapper

{

private Connection conn = null;

private PreparedStatement ps = null;

public void map(Object key, Text value, Context context)

throws IOException, InterruptedException

{

if (conn==null) {

try {

Class.forName("com.mysql.jdbc.Driver");

conn = (Connection) DriverManager.getConnection("jdbc:mysql://cloud/Sensor?characterEncoding=utf-8", "account", "password");

} catch (SQLException e) {

e.printStackTrace();

} catch (ClassNotFoundException e) {

e.printStackTrace();

}

}

String CommandString = "insert into tbSensor (Data) values (?)";

try {

ps = (PreparedStatement) conn.prepareStatement(CommandString);

ps.setString(1, value.toString());

ps.executeUpdate();

ps.close();

} catch (SQLException e) {

e.printStackTrace();

}

}

}

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

Job job = new Job(conf, "Data Importor");

job.setNumReduceTasks(0);

job.setJarByClass(DataImportor.class);

job.setMapperClass(ImportMapper.class);

FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

}

这支导入很单纯，仅需要利用 MapReduce 机制，将要导入的观测数据文件，利用 Map 机制将文件分送到各个节点上做导入进程，并不需 Reduce，所以这里利用 setNumReduceTasks(0)，将Reduce的数量设为0。