solr 亿万级数据查询性能測试

废话不多说,我电脑配置 i7四核cpu 8G内存

插入数据文档中有5个字段,当中有两个分词。一个int,一个date

批量插入測试一次10万循环10次总共100万用时85秒

批量插入測试一次10万循环100次总共1000万用时865秒

插入性能还是不错的

查询測试

在12166454数据中(约等于一千两百万)总共占用硬盘2.8G

查询分词字段 title:中国用时0.031秒

非分词字段查询 view_count:1 用时 0.030秒

范围查询 view_count:[0 TO 1000] 用时0.125秒

上面这些查询第二次查询的时候用时都在0.001秒之下应该是由于有缓存的原因

相对数据库的模糊查询优势及其明显。我用mysql两千万数据查询“%中国%”直接数据库卡掉了

(只是这么比較美意思。全文检索存储方式跟sql不一样,各有优劣)

在过亿的数据量中

插入一亿数据耗时1小时40分钟35秒
插入过程中 内存占用70%左右 cpu没多少变化 11%左右

(上班写的,未完待续)


转载于:https://www.cnblogs.com/jzssuanfa/p/6946753.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Solr基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎 课程特点毕业后接触的第一个中间件就是Solr,在工作中用处广泛,为了便于大家快速掌握该技能,开始录制相关课程,该专栏特点如下:1.采用Solr最新版本视频录制,全网最新课程(Solr8.1于2019年5月16日发布)2.技能点全网最全,会结合工作经验,项目中用到的技能点都会有所涉及,更新章节比较全面3.适用范围广,从零基础到高架构以及分布式集群都涵盖,适用初、高、项目实战等多个层次开发者4.多种维度辅助学习,采用独立solr粉丝群辅助教学,学员问题会及时得到解决,程序员突破圈 打卡制度,督促学员学习关注后再购买、 关注后再购买、 关注后再购买课程能得到什么1.快速学习到最新版本的全文检索技术,从视频、文章、圈子、粉丝交流等快速促进学习2.通过该技术,获得面试进阶指导3.结交人脉(庞大的粉丝群)..End初期学员100人,价格不会太高,也是为了帮助更多的开发者但是个人精力有限,所以限制条件如下1.求知欲强,有想向技术更深一层了解的2.乐于交流,喜欢探讨技术者3.学习惰性者慎入,购买后会督促大家学习,购买不是目的,学习到该技能才是该专栏的主要目的正式进入学习状态了吗,专栏群见。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值