MapReduce：基于物品的协同过滤算法的MapReduce实现

最新推荐文章于 2020-05-02 15:02:05 发布

pat_datamine

最新推荐文章于 2020-05-02 15:02:05 发布

阅读量902

点赞数

分类专栏：数据挖掘（mapreduce算法并行化） MapReduce编程(java)

本文链接：https://blog.csdn.net/pat_datamine/article/details/43019357

版权

本文详细介绍了如何使用MapReduce框架实现基于用户相似性函数的算法，包括文件初始化、读取输入数据、执行Map和Reduce操作，以及输出结果的过程。重点在于通过MapReduce的分而治之策略，高效地处理大规模数据并计算用户间的相似度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于用户的相似性函数的定义：

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;


public class MapperReduce {
	String input="F:\\input.txt";
	String output="F:\\output.txt";
	public void set_input(String input){
		this.input=input;
	}
	public void set_output(String output){
		this.output=output;
	}
	public void clear_tmpfile() throws IOException{
		FileWriter fw=new FileWriter("F:\\map_result.txt"); 
		String line="";
		fw.write(line);
		fw.close();
	}
	public MapperReduce(String input,String output){//文件初始化，如果存在则删除
		this.input=input;
		this.output=output;
		File file=new File("F:\\map_result.txt");
		if(file.exists()){
			file.delete();
		}
		File file1=new File(this.output);
		if(file1.exists()){
			file1.delete();
		}
	}
	
	public Map<String,List<String>> shuff() throws IOException{//shuffle过程，将mapper处理结果相同key的记录合并
		BufferedReader br=new BufferedReader(new FileReader("F:\\map_result.txt"));
        String line="";
        Map<String, List<String>> map=new HashMap<String, List<String>>();
        while((line=br.readLine())!=null){
        	String[] content=line.split(" ",2);
        	if(map.containsKey(content[0])){
        		List<String> list=new ArrayList<String>();
        		list=map.get(content[0]);
        		if(content.length==2){
        		    list.add(content[1]);
        		}else{
        			list.add(" ");
        		}
        		map.remove(content[0]);
        		map.put(content[0],list);
        	}else{
        			List<String> lis

最低0.47元/天解锁文章