利用MapReduce实现自定义排序

利用MapReduce实现自定义排序

1.第一种实现的方式是：将数据封装到list中，使用集合的排序方法实现排序在cleanup方法中加入代码实现排序；
所以这里只适合把所有的数据都放在一个pojo中；
2.第二种是将pojo类作为key从Mapper传递到Reducer，然后值作为key，然后遍历进行传递。
3.共同点：两种方式都要实现WritableComparable接口，重写compareTo()方法，然后指定两个int类型的数据相减，
或者也可以指定多字段进行排序

1.Pojo类（用来实现排序的，而且这里的数据是来自之前统计的结果，所以只有两个字段：技能点、数量）

package com.data.test.Mysql_skill;
import org.apache.hadoop.io.WritableComparable;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

/*

自定义的类作为MapReduce传输对象的时候，必须序列化,实现WritableComparable 接口
泛型为map输出的key的类型
可以把需要的字段都封装过来，map输出的value就可以用NullWritable来代替
任何用作键来使用的类都应该实现WritableComparable接口
*/
public class outPojo implements WritableComparable {
   
String skill;
int count;

public outPojo() {
   
}

public outPojo(String skill, int count) {
   
    this.skill = skill;
    this.count = count;
}

public String getSkill() {
   
    return skill;
}

public void setSkill(String skill) {
   
    this.skill = skill;
}

public int getCount() {
   
    return count;
}

public void setCount(int count) {
   
    this.count = count;
}
// 序列化的方法:对象 ===> 二进制
// map发到reduce端的的时候先序列化
@Override
public void write(DataOutput out) throws IOException {
   
    out.writeUTF(skill);
    out.writeInt(count);
}
// 反序列化的方法，到reduce端的时候进行反序列化,和序列化的顺序一定要一致
@Override
public void readFields(DataInput in) throws IOException {
   
    this.skill = in.readUTF();
    this.count = in.readInt();
}
// 也就是说可以指定多重排序方式，不仅仅是单一的字段排序
@Override
public int compareTo(outPojo o) {
   
    // 第一先按数量（count字段）降序排列
    int temp = o.getCount() - this.count;
    // 如果第一个字段相同，在比较技能字段
    if(tmp==0){
   
        tmp = o.skill -this.skill;
        return tmp;
    }
    return tmp;
}
// 控制当前对象被传递的时候，输出的格式，可以全部输出也可以只输出一部分（这里只是输出了其中的一个字段）
// 实际上这样就可以在Reducer过程中输出的时候选择类型为当前实体类类型。
// 也就是说如果要输出，多个值的时候，也可以封装在这样一个实体类中然后一起输出，不过就是得实现序列化（Writable）接口
@Override
public String toString() {
   
    return String.valueOf(count);
}
}

2.Pojo类（用来实现从Mysql中读取数据的，所以不仅实现序列化接口

Writable，还实现了操作数据库的DBWritable）
// 由于这里的测试的数据来源是mysql，所以还多了一个实体类
package com.data.test.Mysql_skill;

import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapreduce.lib.db.DBWritable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class sourcePojo implements Writable, DBWritable {
   
int id; // 编号
String city; //城市
String company; // 公司名
String companySize;// 公司人数
String companyType;// 公司性质
String edulevel;// 学历要求
String emplType;// 全职/兼职
String extractSkillTag;// 当前岗位需要的技能
String jobName;// 岗位名称
String salary;// 薪资
String welfare;// 福利
String workingExp;//工作年限要求

public sourcePojo() {
   
}

public sourcePojo(int id, String city, String company, String companySize, String companyType, String edulevel, String emplType, String extractSkillTag, String jobName, String salary, String welfare, String workingExp) {
   
    this.id = id;
    this.city = city;
    this.company = company