Hadoop之——本地通过Eclipse链接Hadoop操作MySQL数据库问题小结

最新推荐文章于 2024-07-17 09:12:06 发布
最新推荐文章于 2024-07-17 09:12:06 发布
阅读量1.5k 收藏 2
点赞数 2
分类专栏： 精通大数据系列 文章标签： Hadoop

前一段时间，在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后，通过Eclipse操作HDFS的时候遇到的一些问题，最近又想进一步学习学习Hadoop操作Mysql数据库的一些知识，在这里网上存在很多分歧，很多人可能会笑话，用那么“笨重”的Hadoop来操作数据库，脑子有问题吧，Hadoop的HDFS优势在于处理分布式文件系统，这种说法没有任何错误，数据库的操作讲究“安全、轻便、快捷”，用Hadoop操作完全是不符合常理啊，那为啥还要学习这个东西呢？其实退一步讲，在之前access数据库的应用占一定份额的时候，很多人选择使用文件作为数据的仓储，增删查改全部是操作文件，一个文件可能就是一个数据库或者一个数据表，那么对于一些实时性要求不是很高且数据量比较小的操作，选择用hadoop操作数据库，其实说来也不是不可以考录，不说了，每个人有自己的观点，当然这个也与每个人所在的公司的要求有关系，下面就说说自己遇到的比较恼人的一个问题：还是classNotFound的问题：

首先要说明的是：你的运行环境，先的明白你的代码到底是在服务器端还是在本地,其次再参考不同的代码进行模拟。


下面说说本地运行的时候3种classNotFount的问题

（1）MySql的驱动找不到，这个很容易解决，在自己的项目中引入MySql的官方驱动jar包就可以解决了，如上图红色框

（2)对JDBC的Jar包处理

      因为程序虽然用Eclipse编译运行但最终要提交到Hadoop集群上，所以JDBC的jar必须放到Hadoop集群中。有两种方式：

      <1>在每个节点下的${HADOOP_HOME}/lib下添加该包，重启集群，一般是比较原始的方法。

      我们的Hadoop安装包在"/usr/hadoop"，所以把Jar放到"/usr/hadoop/lib"下面，然后重启，记得是Hadoop集群中所有的节点都要放，因为执行分布式是程序是在每个节点本地机器上进行。

      <2>在Hadoop集群的分布式文件系统中创建"/lib"文件夹，并把我们的的JDBC的jar包上传上去，然后在主程序添加如下语句，就能保证 Hadoop集群中所有的节点都能使用这个jar包。因为这个jar包放在了HDFS上，而不是本地系统，这个要理解清楚。

(3)关联数据库表的实体类找不到（本篇文章解决的重点），StudentRecord.class not found。。。。

出现此问题的源代码如下：

package cn.hadoop.db;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.net.URI;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.lib.IdentityReducer;
import org.apache.hadoop.mapred.lib.db.DBConfiguration;
import org.apache.hadoop.mapred.lib.db.DBInputFormat;
import org.apache.hadoop.mapred.lib.db.DBWritable;

import cn.hadoop.db.DBAccessReader.Student.DBInputMapper;

public class DBAccessReader {
    
    public static class Student implements Writable, DBWritable{
        public int id;
        public  String name;
        public  String sex;
        public  int age;
        
        public Student() {
            
        }
        @Override
        public void write(PreparedStatement statement) throws SQLException {
            statement.setInt(1, this.id);
            statement.setString(2, this.name);
            statement.setString(3, this.sex);
            statement.setInt(4, this.age);
        }

        @Override
        public void readFields(ResultSet resultSet) throws SQLException {
            this.id = resultSet.getInt(1);
            this.name = resultSet.getString(2);
            this.sex = resultSet.getString(3);
            this.age = resultSet.getInt(4);
        }

        @Override
        public void write(DataOutput out) throws IOException {
            out.writeInt(this.id);
            Text.writeString(out, this.name);
            Text.writeString(out, this.sex);
            out.writeInt(this.age);
        }

        @Override
        public void readFields(DataInput in) throws IOException {
            this.id = in.readInt();
            this.name = Text.readString(in);
            this.sex = Text.readString(in);
            this.age = in.readInt();
        }

        @Override
        public String toString() {
            return new String("Student [id=" + id + ", name=" + name + ", sex=" + sex
                    + ", age=" + age + "]");
        }
        
        public static class DBInputMapper extends MapReduceBase implements Mapper<LongWritable, cn.hadoop.db.DBAccessReader.Student, LongWritable, Text>{

            @Override
            public void map(LongWritable key, cn.hadoop.db.DBAccessReader.Student value,
                    OutputCollector<LongWritable, Text> collector,
                    Reporter reporter) throws IOException {
                collector.collect(new LongWritable(value.id), new Text(value.toString()));
                
            }
            
        }
        
        
        
    }
    public static void main(String[] args) throws IOException{
        
        JobConf conf = new JobConf(DBAccessReader.class);
        conf.set("mapred.job.tracker", "192.168.56.10:9001"); 
        
            FileSystem fileSystem = FileSystem.get(
                    URI.create("hdfs://192.168.56.10:9000/"), conf);
            
            DistributedCache
            .addFileToClassPath(
                    new Path(
                            "hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar"),
                            conf, fileSystem);
        conf.setOutputKeyClass(LongWritable.class);
        conf.setOutputValueClass(Text.class);

        conf.setInputFormat(DBInputFormat.class);



        FileOutputFormat.setOutputPath(conf, new Path(
                "hdfs://192.168.56.10:9000/user/studentInfo"));

        DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver",
                "jdbc:mysql://192.168.56.109:3306/school", "root", "1qaz2wsx");

        String[] fields = { "id", "name", "sex", "age" };

        DBInputFormat.setInput(conf, cn.hadoop.db.DBAccessReader.Student.class, "student", null,
                "id", fields);

        conf.setMapperClass(DBInputMapper.class);
        conf.setReducerClass(IdentityReducer.class);
        
            JobClient.runJob(conf);
    }
}
运行的时候，报的错误如下

错误很明显，就是找不到实体类Student,可是看代码好多遍，这个类明明在啊，为啥会报错找不到呢？？？我也迷糊了很长时间，各种尝试都是不行，最后还是将目标锁定在日志信息里面，很明显，这是在服务器端去找DBAccessReader这个Job的jar，明显我们没有上传，肯定是找不到到，所以报错，错误很明显，就在main方法下面的这里：

JobConf conf = new JobConf(DBAccessReader.class);
conf.set("mapred.job.tracker", "192.168.56.10:9001");
所以，修改代码如下以后，问题得到解决： 
package cn.hadoop.db;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.net.URI;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.lib.IdentityReducer;
import org.apache.hadoop.mapred.lib.db.DBConfiguration;
import org.apache.hadoop.mapred.lib.db.DBInputFormat;
import org.apache.hadoop.mapred.lib.db.DBWritable;

import cn.hadoop.db.DBAccessReader.Student.DBInputMapper;

public class DBAccessReader {

    public static class Student implements Writable, DBWritable {
        public int id;
        public String name;
        public String sex;
        public int age;

        public Student() {

        }

        @Override
        public void write(PreparedStatement statement) throws SQLException {
            statement.setInt(1, this.id);
            statement.setString(2, this.name);
            statement.setString(3, this.sex);
            statement.setInt(4, this.age);
        }

        @Override
        public void readFields(ResultSet resultSet) throws SQLException {
            this.id = resultSet.getInt(1);
            this.name = resultSet.getString(2);
            this.sex = resultSet.getString(3);
            this.age = resultSet.getInt(4);
        }

        @Override
        public void write(DataOutput out) throws IOException {
            out.writeInt(this.id);
            Text.writeString(out, this.name);
            Text.writeString(out, this.sex);
            out.writeInt(this.age);
        }

        @Override
        public void readFields(DataInput in) throws IOException {
            this.id = in.readInt();
            this.name = Text.readString(in);
            this.sex = Text.readString(in);
            this.age = in.readInt();
        }

        @Override
        public String toString() {
            return new String("Student [id=" + id + ", name=" + name + ", sex="
                    + sex + ", age=" + age + "]");
        }

        public static class DBInputMapper extends MapReduceBase
                implements
                Mapper<LongWritable, cn.hadoop.db.DBAccessReader.Student, LongWritable, Text> {

            @Override
            public void map(LongWritable key,
                    cn.hadoop.db.DBAccessReader.Student value,
                    OutputCollector<LongWritable, Text> collector,
                    Reporter reporter) throws IOException {
                collector.collect(new LongWritable(value.id),
                        new Text(value.toString()));

            }

        }

    }

    public static void main(String[] args) throws IOException {

        JobConf conf = new JobConf();
        FileSystem fileSystem = FileSystem.get(
                URI.create("hdfs://192.168.56.10:9000/"), conf);

        DistributedCache
                .addFileToClassPath(
                        new Path(
                                "hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar"),
                        conf, fileSystem);
        conf.setOutputKeyClass(LongWritable.class);
        conf.setOutputValueClass(Text.class);

        conf.setInputFormat(DBInputFormat.class);

        FileOutputFormat.setOutputPath(conf, new Path(
                "hdfs://192.168.56.10:9000/user/studentInfo"));

        DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver",
                "jdbc:mysql://192.168.56.109:3306/school", "root", "1qaz2wsx");

        String[] fields = { "id", "name", "sex", "age" };

        DBInputFormat.setInput(conf, cn.hadoop.db.DBAccessReader.Student.class,
                "student", null, "id", fields);

        conf.setMapperClass(DBInputMapper.class);
        conf.setReducerClass(IdentityReducer.class);

        JobClient.runJob(conf);
    }
}
以下是运行时打印出的日志信息： 
三月 13, 2016 5:39:57 下午 org.apache.hadoop.util.NativeCodeLoader <clinit>
警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
三月 13, 2016 5:39:57 下午 org.apache.hadoop.mapred.JobClient copyAndConfigureFiles
警告: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
三月 13, 2016 5:39:57 下午 org.apache.hadoop.mapred.JobClient copyAndConfigureFiles
警告: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
三月 13, 2016 5:39:57 下午 org.apache.hadoop.filecache.TrackerDistributedCacheManager downloadCacheObject
信息: Creating mysql-connector-java-5.1.18-bin.jar in /tmp/hadoop-hadoop/mapred/local/archive/2605709384407216388_-2048973133_91096108/192.168.56.10/lib-work-2076365714246383853 with rwxr-xr-x
三月 13, 2016 5:39:58 下午 org.apache.hadoop.filecache.TrackerDistributedCacheManager downloadCacheObject
信息: Cached hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar as /tmp/hadoop-hadoop/mapred/local/archive/2605709384407216388_-2048973133_91096108/192.168.56.10/lib/mysql-connector-java-5.1.18-bin.jar
三月 13, 2016 5:39:58 下午 org.apache.hadoop.filecache.TrackerDistributedCacheManager localizePublicCacheObject
信息: Cached hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar as /tmp/hadoop-hadoop/mapred/local/archive/2605709384407216388_-2048973133_91096108/192.168.56.10/lib/mysql-connector-java-5.1.18-bin.jar
三月 13, 2016 5:39:58 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息: Running job: job_local_0001
三月 13, 2016 5:39:59 下午 org.apache.hadoop.mapred.Task initialize
信息:  Using ResourceCalculatorPlugin : null
三月 13, 2016 5:39:59 下午 org.apache.hadoop.mapred.MapTask runOldMapper
信息: numReduceTasks: 1
三月 13, 2016 5:39:59 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: io.sort.mb = 100
三月 13, 2016 5:39:59 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: data buffer = 79691776/99614720
三月 13, 2016 5:39:59 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: record buffer = 262144/327680
三月 13, 2016 5:39:59 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息:  map 0% reduce 0%
三月 13, 2016 5:40:04 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer flush
信息: Starting flush of map output
三月 13, 2016 5:40:04 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer sortAndSpill
信息: Finished spill 0
三月 13, 2016 5:40:04 下午 org.apache.hadoop.mapred.Task done
信息: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
三月 13, 2016 5:40:04 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息:
三月 13, 2016 5:40:04 下午 org.apache.hadoop.mapred.Task sendDone
信息: Task 'attempt_local_0001_m_000000_0' done.
三月 13, 2016 5:40:05 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息:  map 100% reduce 0%
三月 13, 2016 5:40:05 下午 org.apache.hadoop.mapred.Task initialize
信息:  Using ResourceCalculatorPlugin : null
三月 13, 2016 5:40:05 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息:
三月 13, 2016 5:40:05 下午 org.apache.hadoop.mapred.Merger$MergeQueue merge
信息: Merging 1 sorted segments
三月 13, 2016 5:40:05 下午 org.apache.hadoop.mapred.Merger$MergeQueue merge
信息: Down to the last merge-pass, with 1 segments left of total size: 542 bytes
三月 13, 2016 5:40:05 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息:
三月 13, 2016 5:40:06 下午 org.apache.hadoop.mapred.Task done
信息: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
三月 13, 2016 5:40:06 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息:
三月 13, 2016 5:40:06 下午 org.apache.hadoop.mapred.Task commit
信息: Task attempt_local_0001_r_000000_0 is allowed to commit now
三月 13, 2016 5:40:06 下午 org.apache.hadoop.mapred.FileOutputCommitter commitTask
信息: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://192.168.56.10:9000/user/studentInfo
三月 13, 2016 5:40:08 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息: reduce > reduce
三月 13, 2016 5:40:08 下午 org.apache.hadoop.mapred.Task sendDone
信息: Task 'attempt_local_0001_r_000000_0' done.
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息:  map 100% reduce 100%
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息: Job complete: job_local_0001
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息: Counters: 20
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:   File Input Format Counters
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Bytes Read=0
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:   File Output Format Counters
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Bytes Written=513
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:   FileSystemCounters
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     FILE_BYTES_READ=1592914
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     HDFS_BYTES_READ=1579770
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     FILE_BYTES_WRITTEN=3270914
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     HDFS_BYTES_WRITTEN=513
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:   Map-Reduce Framework
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce input groups=9
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Map output materialized bytes=546
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Combine output records=0
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Map input records=9
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce shuffle bytes=0
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce output records=9
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Spilled Records=18
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Map output bytes=522
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Total committed heap usage (bytes)=231874560
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Map input bytes=9
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Combine input records=0
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Map output records=9
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     SPLIT_RAW_BYTES=75
三月 13, 2016 5:40:09 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce input records=9
这是运行的结果：

到此，Hadoop连接数据库读取数据表输出的操作完成了，当然这就是一个简单的演示，实际项目中不会用到，只是可以帮我们熟悉熟悉Hadoop操作数据库的流程，下面给出

Hadoop处理文件以后，将结果写入数据库的示例代码，和上面的差不多：

package cn.hadoop.db;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.net.URI;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.MapReduceBase;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.OutputCollector;
import org.apache.hadoop.mapred.Reducer;
import org.apache.hadoop.mapred.Reporter;
import org.apache.hadoop.mapred.TextInputFormat;
import org.apache.hadoop.mapred.lib.db.DBConfiguration;
import org.apache.hadoop.mapred.lib.db.DBOutputFormat;
import org.apache.hadoop.mapred.lib.db.DBWritable;

public class WriteDB {

    public static void main(String[] args) throws IOException {
        JobConf conf = new JobConf();

        FileSystem fileSystem = FileSystem.get(
                URI.create("hdfs://192.168.56.10:9000/"), conf);
        DistributedCache
                .addFileToClassPath(
                        new Path(
                                "hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar"),
                        conf, fileSystem);
        conf.setInputFormat(TextInputFormat.class);
        conf.setOutputFormat(DBOutputFormat.class);

        conf.setOutputKeyClass(Text.class);
        conf.setOutputValueClass(IntWritable.class);

        conf.setMapperClass(Map.class);
        conf.setCombinerClass(Combine.class);
        conf.setReducerClass(Reduce.class);

        FileInputFormat.setInputPaths(conf, new Path(
                "hdfs://192.168.56.10:9000/user/db_in"));

        DBConfiguration
                .configureDB(
                        conf,
                        "com.mysql.jdbc.Driver",
                        "jdbc:mysql://192.168.56.109:3306/school?characterEncoding=UTF-8",
                        "root", "1qaz2wsx");

        String[] fields = { "word", "number" };

        DBOutputFormat.setOutput(conf, "wordcount", fields);
        JobClient.runJob(conf);

    }
}

class Map extends MapReduceBase implements
        Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);

    private Text word = new Text();

    @Override
    public void map(Object key, Text value,
            OutputCollector<Text, IntWritable> output, Reporter reporter)
            throws IOException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            output.collect(word, one);
        }
    }

}

class Combine extends MapReduceBase implements
        Reducer<Text, IntWritable, Text, IntWritable> {

    @Override
    public void reduce(Text key, Iterator<IntWritable> values,
            OutputCollector<Text, IntWritable> output, Reporter reporter)
            throws IOException {
        int sum = 0;
        while (values.hasNext()) {
            sum += values.next().get();
        }
        output.collect(key, new IntWritable(sum));
    }

}

class Reduce extends MapReduceBase implements
        Reducer<Text, IntWritable, WordRecord, Text> {

    @Override
    public void reduce(Text key, Iterator<IntWritable> values,
            OutputCollector<WordRecord, Text> output, Reporter reporter)
            throws IOException {
        int sum = 0;
        while (values.hasNext()) {
            sum += values.next().get();
        }
        WordRecord wordcount = new WordRecord();
        wordcount.word = key.toString();
        wordcount.number = sum;
        output.collect(wordcount, new Text());
    }

}

class WordRecord implements Writable, DBWritable {

    public String word;
    public int number;

    @Override
    public void write(PreparedStatement statement) throws SQLException {
        statement.setString(1, this.word);
        statement.setInt(2, this.number);
    }

    @Override
    public void readFields(ResultSet resultSet) throws SQLException {
        this.word = resultSet.getString(1);
        this.number = resultSet.getInt(2);
    }

    @Override
    public void write(DataOutput out) throws IOException {
        Text.writeString(out, this.word);
        out.writeInt(this.number);
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        this.word = Text.readString(in);
        this.number = in.readInt();
    }

}
运行打印的日志信息如下： 
三月 13, 2016 6:09:31 下午 org.apache.hadoop.util.NativeCodeLoader <clinit>
警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
三月 13, 2016 6:09:31 下午 org.apache.hadoop.mapred.JobClient copyAndConfigureFiles
警告: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
三月 13, 2016 6:09:31 下午 org.apache.hadoop.mapred.JobClient copyAndConfigureFiles
警告: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
三月 13, 2016 6:09:31 下午 org.apache.hadoop.mapred.FileInputFormat listStatus
信息: Total input paths to process : 2
三月 13, 2016 6:09:32 下午 org.apache.hadoop.filecache.TrackerDistributedCacheManager downloadCacheObject
信息: Creating mysql-connector-java-5.1.18-bin.jar in /tmp/hadoop-hadoop/mapred/local/archive/-8205516116475251282_-2048973133_91096108/192.168.56.10/lib-work-1371358416408211818 with rwxr-xr-x
三月 13, 2016 6:09:33 下午 org.apache.hadoop.filecache.TrackerDistributedCacheManager downloadCacheObject
信息: Cached hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar as /tmp/hadoop-hadoop/mapred/local/archive/-8205516116475251282_-2048973133_91096108/192.168.56.10/lib/mysql-connector-java-5.1.18-bin.jar
三月 13, 2016 6:09:33 下午 org.apache.hadoop.filecache.TrackerDistributedCacheManager localizePublicCacheObject
信息: Cached hdfs://192.168.56.10:9000/lib/mysql-connector-java-5.1.18-bin.jar as /tmp/hadoop-hadoop/mapred/local/archive/-8205516116475251282_-2048973133_91096108/192.168.56.10/lib/mysql-connector-java-5.1.18-bin.jar
三月 13, 2016 6:09:33 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息: Running job: job_local_0001
三月 13, 2016 6:09:33 下午 org.apache.hadoop.mapred.Task initialize
信息:  Using ResourceCalculatorPlugin : null
三月 13, 2016 6:09:33 下午 org.apache.hadoop.mapred.MapTask runOldMapper
信息: numReduceTasks: 1
三月 13, 2016 6:09:33 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: io.sort.mb = 100
三月 13, 2016 6:09:34 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: data buffer = 79691776/99614720
三月 13, 2016 6:09:34 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: record buffer = 262144/327680
三月 13, 2016 6:09:34 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer flush
信息: Starting flush of map output
三月 13, 2016 6:09:34 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer sortAndSpill
信息: Finished spill 0
三月 13, 2016 6:09:34 下午 org.apache.hadoop.mapred.Task done
信息: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting
三月 13, 2016 6:09:34 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息:  map 0% reduce 0%
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息: hdfs://192.168.56.10:9000/user/db_in/file2.txt:0+41
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.Task sendDone
信息: Task 'attempt_local_0001_m_000000_0' done.
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.Task initialize
信息:  Using ResourceCalculatorPlugin : null
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.MapTask runOldMapper
信息: numReduceTasks: 1
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: io.sort.mb = 100
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: data buffer = 79691776/99614720
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer <init>
信息: record buffer = 262144/327680
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer flush
信息: Starting flush of map output
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.MapTask$MapOutputBuffer sortAndSpill
信息: Finished spill 0
三月 13, 2016 6:09:36 下午 org.apache.hadoop.mapred.Task done
信息: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting
三月 13, 2016 6:09:37 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息:  map 100% reduce 0%
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息: hdfs://192.168.56.10:9000/user/db_in/file1.txt:0+24
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.Task sendDone
信息: Task 'attempt_local_0001_m_000001_0' done.
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.Task initialize
信息:  Using ResourceCalculatorPlugin : null
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息: 
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.Merger$MergeQueue merge
信息: Merging 2 sorted segments
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.Merger$MergeQueue merge
信息: Down to the last merge-pass, with 2 segments left of total size: 116 bytes
三月 13, 2016 6:09:39 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息: 
三月 13, 2016 6:09:41 下午 org.apache.hadoop.mapred.Task done
信息: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting
三月 13, 2016 6:09:42 下午 org.apache.hadoop.mapred.LocalJobRunner$Job statusUpdate
信息: reduce > reduce
三月 13, 2016 6:09:42 下午 org.apache.hadoop.mapred.Task sendDone
信息: Task 'attempt_local_0001_r_000000_0' done.
三月 13, 2016 6:09:42 下午 org.apache.hadoop.mapred.FileOutputCommitter cleanupJob
警告: Output path is null in cleanup
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息:  map 100% reduce 100%
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.JobClient monitorAndPrintJob
信息: Job complete: job_local_0001
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息: Counters: 19
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:   File Input Format Counters 
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Bytes Read=65
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:   File Output Format Counters 
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Bytes Written=0
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:   FileSystemCounters
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     FILE_BYTES_READ=2389740
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     HDFS_BYTES_READ=2369826
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     FILE_BYTES_WRITTEN=4905883
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:   Map-Reduce Framework
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce input groups=7
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Map output materialized bytes=124
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Combine output records=9
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Map input records=5
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce shuffle bytes=0
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce output records=7
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Spilled Records=18
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Map output bytes=104
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Total committed heap usage (bytes)=482291712
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Map input bytes=65
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Combine input records=10
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Map output records=10
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     SPLIT_RAW_BYTES=198
三月 13, 2016 6:09:43 下午 org.apache.hadoop.mapred.Counters log
信息:     Reduce input records=9
数据库中的结果如下：

以下代码都是本人亲自测试和运行过的，hadoop的版本和服务器环境信息请参看上一篇博文。


冰 河
关注
专栏目录
hadoop之mysql实验总结_Hadoop实验——NoSQL与关系型数据库的比较
weixin_39980903的博客
02-23 790
实验目的理解四种数据库(MySQL,HBase,Redis,MongoDB)的概念以及不同点。熟练使用四种数据库操作常用的Shell命令。熟悉四种数据库操作常用的Java API。实验平台操作系统:Ubuntu-16.04Hadoop版本:2.6.0JDK版本:1.8IDE:EclipseHBase版本:1.2.3MySQL版本:5.7.16MongoDB版本:2.6.10Redis:版本:3.0...
hadoop连接mysql数据库访问数据和导入数据
08-07
hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库 hadoop连接数据库查询数据，并添加到hdfs；从hdfs进行mapreduce数据导入到数据库
本地通过Eclipse链接Hadoop操作Mysql数据库问题小结
weixin_30415801的博客
03-13 185
前一段时间，在上一篇博文中描述了自己抽时间在构建的完全分布式Hadoop环境过程中遇到的一些问题以及构建成功后，通过Eclipse操作HDFS的时候遇到的一些问题，最近又想进一步学习学习Hadoop操作Mysql数据库的一些知识，在这里网上存在很多分歧，很多人可能会笑话，用那么“笨重”的Hadoop来操作数据库，脑子有问题吧，Hadoop的HDFS优势在于处理分布式文件系统，这种说法没...
Centos7下Hadoop集群的mysql5.7以及hive3.1搭建
最新发布
虫虫的博客
07-17 619
Centos7下Hadoop集群的mysql5.7以及hive3.1搭建
Hadoop编程之MapReduce操作Mysql数据库
luyee2010的专栏
02-26 7113
1，首先建立mysql的数据库，表：如下图 下面是MapReduce编程了，需要导入mysql数据库驱动jar包； 首先需要自定义Recoder,这里是CourceRecord public class CourceRecord implements Writable, DBWritable {   int id;   String name;   int count;
Eclipse连接Hadoop
Zartillery的博客
12-14 1267
首先打Eclipse，按Window—&gt;Show View—&gt;Other点击 在弹出的窗口输入map，出现一个黄色大象图标的东西，Open打开 然后在下方导航里选择蓝色大象图标 填写对应的配置信息 ...
hadoop读取mysql数据_hadoop与mysql数据库相连读出数据
weixin_29127653的博客
01-14 138
转自：http://blog.csdn.net/qwertyu8656/article/details/6426054用0.20.2版本 有些类已经过时 但必须要用 因为新版本对数据库连接支持不够运行mysql创建数据库School，建立teacher表，并自行填写值DROPTABLEIFEXISTS`school`.`teacher`;CREATETABLE`school`.`te...
hadoop与mysql数据库相连读出数据.pdf
11-23
然后，在Eclipse中编译运行Hadoop程序，使用DBInputFormat读取MySQL数据库中的数据，并将其输出到HDFS文件系统中。 从标题和描述中，我们可以了解到本文的主要知识点是Hadoop与MySQL数据库的集成，使用Hadoop读取...
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
基于大数据（Hadoop+Java+MySQL）的数码商城购物推荐系统设计与实现.zip
06-09
我的推荐算法是利用Hadoop技术写的，我们可以利用Hadoop集群的高吞吐量，一次读取多次写入等特点进行大数据处理，我们也可以通过JDBC编程直接把推荐结果写入到Mysql数据库，等我们用到时再把它读出来。 而且系统首页...
window7+eclipse4.7+Hadoop2.9.0环境搭建所需的全套插件及文档
04-21
在"mysql-connector-java-5.1.46.tar.gz"中，包含了MySQL的Java连接器，虽然它主要用于与MySQL数据库交互，但在某些Hadoop项目中可能用到。解压此文件，提取所需的JAR包，然后将其添加到Eclipse的类路径中，以便在...
一步一步跟我学习hadoop(7)----hadoop连接mysql数据库执行数据读写数据库操作
热门推荐
wuyinggui的专栏
08-11 1万+
为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。     运行MapReduce时候报错：java.io.IOException: c
hadoop连接mysql_Hadoop 连接mysql
weixin_42114580的博客
01-19 1121
1mysql数据导入到hdfs数据hadoop提供了org.apache.hadoop.io.Writable接口来实现简单的高效的可序列化的协议，该类基于DataInput和DataOutput来实现相关的功能。hadoop对数据库访问也提供了org.apache.hadoop.mapred.lib.db.DBWritable接口，其中write方法用于对PreparedStatement对象设...
一步一步跟我学习hadoop(7)----hadoop连接mysql数据库运行数据读写数据库操作
weixin_34009794的博客
05-28 214
    为了方便 MapReduce 直接訪问关系型数据库（Mysql,Oracle）。Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，依据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。     执行MapReduce时候报错：java.io.IOExce...
Hadoop中的数据库访问
每天积累一点，一年后你会发现，自己变化很大
03-11 725
Hadoop主要用来对非结构化或半结构化（HBase）数据进行存储和分析，而结构化的数据则一般使用数据库来进行存储和访问。本文的主要内容则是讲述如何将Hadoop与现有的数据库结合起来，在Hadoop应用程序中访问数据库中的文件。 1.DBInputFormat DBInputFormat是Hadoop从0.19.0开始支持的一种输入格式，包含在包org.apache.hadoop
hadoop连接mysql数据库执行数据读写数据库操作
WhatSpace的专栏
07-18 873
hadoop连接mysql数据库执行数据读写数据库操作为了方便 MapReduce 直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。 运行MapReduce时候报错：jav
Hadoop集群MySQL搭建
qq_43390704的博客
08-06 163
卸载本机自带的MySQL（mariadb） 1. rpm - qa|grep mariadb 2. rpm -qa|grep java（补充：卸载本机自带的openjdk） 3. rpm -e --nodeps ......... 安装commeon包 1. rpm -ivh --nodeps --force mysql-community-common-5.7.28-1.el7.x86_64.rpm 2. rpm -ivh --nodeps --force mysql-comm..
hadoop上搭建hive成功后，连接mysql
A_lIjInnUo的博客
12-01 3960
一、进入“/conf” 输入“cd /opt/hive/conf”，修改“hive-site-xml” 下图为hive-site-xml中的内容，上节“搭建hive”中有说明，注意注释。 白色区域为“存放数据的仓库地址” 二、双击再打开一个小窗口 1、再此窗口中，需进入“mysql"——输入“mysql -uroot -p'密码'” 2、查看都有哪些数据库——" show databasesl; " 3、根据上节课在hive-site-xml 中改写的内容，即（下图），..
hadoop mysql集群搭建_Hadoop2.7.5+Hbase1.4.0完全分布式集群搭建
weixin_35643153的博客
03-06 263
Hadoop2.7.5+Hbase1.4.0完全分布式集群搭建一、在介绍完全分布式之前先给初学者推荐两本书：《Hbase权威指南》偏理论《Hbase实战》实战多一些二、在安装完全分布式之前应该对他们的概念有个简单的认知：1、Hadoop擅长存储任意的、半结构化的，甚至是结构化的数据，几乎是现在所有数据库的一种补充。2、Hbase是hadoop数据库，hbase并不是一个列式存储数据库，他是利用的磁...
hadoop如何连接eclipse。我要修改mysql的表格，好像要使用mysql的java客户端来实现。不知道是不是通过连接eclipse
05-13
如果你想修改MySQL表格，可以使用Java编写代码，通过MySQL的Java客户端连接到MySQL数据库，并执行SQL语句来修改表格。在Eclipse中，可以创建Java项目，然后将MySQL的Java客户端库添加到项目中，编写Java代码连接到...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值