xunsearch与mysql区别_xunsearch由mysql导入数据慢问题

经过测试800万数据，越是执行到后面，查询速度越慢，执行了一晚上天才构造完成，通过后台查询得知，

mysql查询数据，当OFFSET 很大的时候，查询数据会非常慢，每次查询会消耗大量的IO，数据库会根据索引，依次排除前面的2000000条数据，最后得到1000条。

例如：select id,title,content from article limit 1000 offset 2000000 返回数据几十秒

所以，导入速度越来越慢的根本原因是查询数据。

如果把上面的sql改成：select id,title,content from article where id>100000 order by id asc limit 1000 offset 0，

修改办法：修改util\XSDataSource.class.php 的

一、修改XSDataSource类

1.增加全局变量$previd

1 protected$inCli;2 private$dataList, $dataPos;3 protected $previd=0;//上次执行得到的最大id

2.修改getData方法，把最后一条数据的id赋值给$previd

1 final publicfunction getData()2 {3 if ($this->dataPos === null || $this->dataPos === count($this->dataList)) {4 $this->dataPos = 0;5 $this->dataList = $this->getDataList();6 if