导入数据与简单的MapRduce案例

导入数据

首先接着上篇文章https://blog.csdn.net/pc753159/article/details/103599578，打开自启动文件，查看是否每个节点都启动，上篇文章我们配置了13个节点。

增添片键

第一步：
任意进入一个mongos节点的admin数据库
第二步：
指定数据库分片生效(这里我假设建立一个abc_mongos数据库)

db.runCommand( { enablesharding :"abc_mongos"});

第三步：
指定数据库里需要分片的集合和片键

db.runCommand( { shardcollection : "abc_mongos.student_info",key : {"ID": "hashed"} } ) 	

这里我们指定abc_mongos里面的student_info集合的ID字段进行分片，这里需要注意片键类型有hashed和1两种，我们在这里采用hashed

sh.status()

查看片键是否添加成功

这里我们看到databases下面已经有了片键，所以我们可以添加数据了。

导入csv数据

第一步：进入mongodb的bin目录：
第二步：输入导入命令：
mongoimport --port mongos的端口号 -d 数据库名 -c 集合名 --type csv --headerline --ignoreBlanks --file 导入数据路径

例如：我要导入一个桌面上的student.csv文件

进入bin目录

添加数据

mongoimport --port 10011 -d abc_mongos -c student_info --type csv --headerline --ignoreBlanks --file C:/Users/pc/Desktop/student.csv

添加成功

如果是excel文件，另存为csv文件再导入

导入json文件

首先和csv导入一样现增添片键然年后在bin目录下完成数据导入。
这里我们换一种片键类型

db.runCommand( { shardcollection : "abc_mongos.teacher_info",key : {"name": 1} } )

代码结构为：
mongoimport --port mongos端口号 -d 数据库名称 -c 集合名称 --file json文件路径

mongoimport --port 10011 -d abc_mongos -c teacher_info --file C:/Users/pc/Desktop/teachers.json

添加成功4条数据

Mongodb实现简单的MapReduce操作

MapReduce框架

db.集合名.mapReduce( 
   function() { emit(key,value);…… },//map函数 
   function(key,values) {return reduceFunction},   //reduce 函数 
      {  
         out: collection,
         query: document,
         sort: document,
         limit: number
      }
);

简单的MapReduce的实现

这是我们导入的学生数据：

1.例如我们查询学生中男生的人数

var map=function(){emit(this.Gender,1)};
var reduce=function(key,value){return Array.sum(value)};
var options={out:"sexNum"};
db.student_info.mapReduce(map,reduce,options);
db.sexNum.find();

代码详解：
map 首先我们从学生数据中取出性别这一栏作为key，value设置为1

reduce 我们return返回同一个性别value（也就是1）的和，我们就能得出同一性别的人数了

option 定义一个名字为sexNum集合

db.student_info.mapReduce(map,reduce,options) 意思是在student_info集合里运行map，ruduce，并将数据存入新建集合sexNum里面

db.sexNum.find() 查看sexNum集合

运行结果（可以在Navicat里面新建一个查询，也可以进入mongos节点的对应数据库运行代码）

2.通过导入的teacher_info数据找出高级讲师需要具备什么样的能力
导入数据为：

var map=function(){emit(this.level,this.info)};
var reduce=function(key,value){return value.join(',')};
var options={out:"ability"};
db.teacher.mapReduce(map,reduce,options);
db.ability.find();

代码详解：
map 单独拿出level的数据和info的数据分别作为key和value

reduce 将相同level的的info数据组合在一起，并用逗号隔开

option 定义一个名字为ability集合

db.teacher_info.mapReduce(map,reduce,options) 意思是在teacher_info集合里运行map，ruduce，并将数据存入新建集合ability里面

db.ability.find() 查看ability集合

运行结果：

如果有什么问题欢迎在评论区留言