hadoop读取mysql数据_hadoop读写mysql数据库

需求描述

我们有两张表“成绩表”和“总分表”,从成绩表中计算出每个学生的总成绩，记录到总分表中。

表结构

//成绩表记录学生id,课程id，这科分数

CREATE TABLE `score` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`sid` int(11) DEFAULT NULL,

`cid` int(11) DEFAULT NULL,

`score` int(11) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

//总分表记录学生id和学生总成绩

CREATE TABLE `topscore` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`sid` int(11) DEFAULT NULL,

`totalscore` int(11) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8;

成绩如下：

自定义类实现序列化和DBWritable接口

实现序列化方法和数据库读写方法，这里我们读写是两张表。import com.alibaba.fastjson.JSONObject;

import org.apache.hadoop.io.Writable;

import org.apache.hadoop.mapreduce.lib.db.DBWritable;

import java.io.DataInput;

import java.io.DataOutput;

import java.io.IOException;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

public class MysqlDb_scoreWritable implements Writable,DBWritable {