java抓mongodb数据遇到的问题

最近公司需要把mongodb中的数据抽到HDFS上，刚开始使用kettle，好像kettle对于mongodb只会全量抓取数据，没有分页的功能。

于是需要用代码实现从mongodb分页抓数据的功能。

1、公司的mongodb是主从配置的，所以其中连接mongodb的代码如下：

ServerAddress sa1 = new ServerAddress("192.168.10.1", 28010);
ServerAddress sa2 = new ServerAddress("192.168.10.2", 28010);
ServerAddress sa3 = new ServerAddress("192.168.10.3", 28010);

List<ServerAddress> list = new ArrayList<ServerAddress>();
list.add(sa1);
list.add(sa2);
list.add(sa3);

MongoClient client = new MongoClient(list);

这样连接的话，因为有时主节点会变化，不知道哪一台是主节点，所以要把所有的节点都配置上。

2、配置从从节点读数据，因为不配置的话，默认是从主节点读取的，这样使得主节点的读写压力过大，因此需要读写分离

DB db = client.getDB(database);
//在复制中优先读secondary，如果secondary访问不了的时候就从master中读
db.setReadPreference(ReadPreference.secondaryPreferred());
 
DBCollection coll = db.getCollection(table);
int count = (int)coll.count();           //统计总条数

3、分页查询

使用skip+limit的方式实现分页。

DBCursor cursor = coll.find().skip((page - 1) * 100).sort(new BasicDBObject()).limit(pageSize);

其实page是第几页，pageSize 表示这页的查询数量

使用skip跳过少量的数据是很好的选择，但是如果跳过大量的数据的时候，skip方法就会执行的很慢。所以我们要尽量的避免使用skip跳过大量的数据。