mongo使用MapReduce聚合统计map和reduce

MapReduce是聚合工具中的明星,count,distinct,group能做的事情,MapReduce都可以完成,它是一个可以轻松并行化到多个服务器的聚合方法.简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。这样做的好处是可以在任务被分解后，可以通过大量机器进行并行计算，减少整个操作的时间。

map和reduce是十分有用的操作,特别是在NOSQL中.本文简单小结下 

在mongodb中对mapreduce的操作,以及在JAVA中如何操作. 

1 启动mongodb 
   mongo启动即可 

2 建立db 
   use test 

3 加点记录 
   > book1 = {name : "Understanding JAVA", pages : 100} 
> book2 = {name : "Understanding JSON", pages : 200} 
   > db.books.save(book1) 
> db.books.save(book2) 
  继续加 
  > book = {name : "Understanding XML", pages : 300} 
> db.books.save(book) 
> book = {name : "Understanding Web Services", pages : 400} 
> db.books.save(book) 
> book = {name : "Understanding Axis2", pages : 150} 
> db.books.save(book) 

4  先来做MAP,这里是先归类,按页数去划分分类,如下: 
  

Java代码  

1. > var map = function() {  
2. var category;  
3. if ( this.pages >= 250 )   
4. category = 'Big Books';  
5. else   
6. category = "Small Books";  
7. emit(category, {name: this.name});  
8. };  

5 然后再按reduce来统计个数 
 

Java代码  

1. > var reduce = function(key, values) {  
2. var sum = 0;  
3. values.forEach(function(doc) {  
4. sum += 1;  
5. });  
6. return {books: sum};  
7. };  

6 然后再查看下,结果显示为: 
  > var count  = db.books.mapReduce(map, reduce, {out: "book_results"}); 
> db[count.result].find() 

{ "_id" : "Big Books", "value" : { "books" : 2 } } 
{ "_id" : "Small Books", "value" : { "books" : 3 } } 

7 换用JAVA去实现之,注意下载mongodb的驱动,代码如下: 

Java代码  

1. import com.mongodb.BasicDBObject;  
2. import com.mongodb.DB;  
3. import com.mongodb.DBCollection;  
4. import com.mongodb.DBObject;  
5. import com.mongodb.MapReduceCommand;  
6. import com.mongodb.MapReduceOutput;  
7. import com.mongodb.Mongo;  
8.   
9. public class MongoClient {  
10.   
11.  /** 
12.   * @param args 
13.   */  
14.  public static void main(String[] args) {  
15.   
16.   Mongo mongo;  
17.     
18.   try {  
19.    mongo = new Mongo("localhost", 27017);  
20.    DB db = mongo.getDB("library");  
21.   
22.    DBCollection books = db.getCollection("books");  
23.   
24.    BasicDBObject book = new BasicDBObject();  
25.    book.put("name", "Understanding JAVA");  
26.    book.put("pages", 100);  
27.    books.insert(book);  
28.      
29.    book = new BasicDBObject();    
30.    book.put("name", "Understanding JSON");  
31.    book.put("pages", 200);  
32.    books.insert(book);  
33.      
34.    book = new BasicDBObject();  
35.    book.put("name", "Understanding XML");  
36.    book.put("pages", 300);  
37.    books.insert(book);  
38.      
39.    book = new BasicDBObject();  
40.    book.put("name", "Understanding Web Services");  
41.    book.put("pages", 400);  
42.    books.insert(book);  
43.    
44.    book = new BasicDBObject();  
45.    book.put("name", "Understanding Axis2");  
46.    book.put("pages", 150);  
47.    books.insert(book);  
48.      
49.    String map = "function() { "+   
50.              "var category; " +    
51.              "if ( this.pages >= 250 ) "+    
52.              "category = 'Big Books'; " +  
53.              "else " +  
54.              "category = 'Small Books'; "+    
55.              "emit(category, {name: this.name});}";  
56.      
57.    String reduce = "function(key, values) { " +  
58.                             "var sum = 0; " +  
59.                             "values.forEach(function(doc) { " +  
60.                             "sum += 1; "+  
61.                             "}); " +  
62.                             "return {books: sum};} ";  
63.      
64.    MapReduceCommand cmd = new MapReduceCommand(books, map, reduce,  
65.      null, MapReduceCommand.OutputType.INLINE, null);  
66.   
67.    MapReduceOutput out = books.mapReduce(cmd);  
68.   
69.    for (DBObject o : out.results()) {  
70.     System.out.println(o.toString());  
71.    }  
72.   } catch (Exception e) {  
73.    // TODO Auto-generated catch block  
74.    e.printStackTrace();  
75.   }  
76.  }  

1. }  

1persons集合里面有如下数据,用MapReduce计算出每个国家的人数

map=function(){

          emit( this.country,{count: 1} ) ;

 }

 

 

reduce = function( key , values ){...

    var total = {count: 0}

      for ( var i=0; i<values.length; i++ )

         total.count += values[i].count; 

     return { count : total };

 

};

 

 

 

查询结果:

 

用java操作MapReduce

public static void main(String[]args){

  MongoDb db=new MongoDb("foobar");

  String map = "function() { emit(this.country, {count:1});}";
  String reduce = "function Reduce(key, values) {var total = {count:0}; for ( var i=0; i<values.length; i++ ) total.count += values[i].count;  ;return total;}";
  MapReduceOutput mop = db.mapReduce("persons", map, reduce, null,
    MapReduceCommand.OutputType.INLINE, null);
  Iterable<DBObject> itr = mop.results();
  long lCount = 0;
  for (DBObject dbObject : itr) {
   String _id = dbObject.get("_id").toString();
   Double dble = (Double) ((DBObject) dbObject.get("value"))
     .get("count");
   lCount = dble.longValue();
   System.out.println(_id + "  " + lCount);
  }

}

public   MapReduceOutput mapReduce(String collName,String map, String reduce,
  String outputTarget, OutputType outputType, DBObject queryObj) {
  DBCollection collection=db.getCollection(collName);
 return collection.mapReduce(map,reduce, null, MapReduceCommand.OutputType.INLINE, queryObj);
}

 

查询结果如下:

American  2
China  5
Korea  1