大批量IP查询和IP区域快速查询

    相信做互联网开发的很多人都有一个需求,那就是获取用户的ip,并定位用户访问是哪个省哪个市的。从这个需求来看,首先需要有ip数据库,其次对于某些查不到的ip还能够定期更新ip数据库到最新的,最后就是能快速查询。

    1、ip数据库网上都有,我这里也有一个,是从淘宝数据库更新来的,稍后提供mysql版本的数据库脚本下载。

    2、ip更新有几个网站,我用的是淘宝提供的,通过定时任务,去查询这些没有查询到ip区域的ip信息。     

         http://ip.taobao.com/service/getIpInfo.php?ip=, 通过解析返回的数据,获取要查询ip区域信息,然后存入数据库。

    3、对于快速查询,有些人说数据库建立索引不就解决了查询问题。可是当一天的数据量有千万级别记录增加的时候,这么多次的ip区域查询必定会给数据库带来很大压力,有一位数据库优化的牛人说过,最好的优化办法就是减少数据库访问

     所有源码和初始化数据文件可在github上找到:https://github.com/wuskyfantasy/ip.query

     先看看数据库区域的表设计:

CREATE TABLE `ip_area_dictionary` (
  `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `from` varchar(16) NOT NULL COMMENT '起始IP',
 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在MySQL中进行大批量快速分页查询,可以使用以下方法来优化查询性能: 1. 使用索引:确保查询的字段上建立了适当的索引。索引可以加快查询的速度,并减少数据库的扫描操作。 2. 使用LIMIT语句进行分页:使用LIMIT语句限制返回的结果行数,并使用OFFSET参数指定起始位置。例如,LIMIT 10 OFFSET 20 表示返回第21到第30行的结果。 3. 避免使用SELECT *:只选择需要的列,避免不必要的数据传输和处理,提高查询效率。 4. 使用查询或联接优化:如果需要在分页查询使用复杂的条件或关联查询,可以考虑使用查询或联接来优化查询性能。 5. 使用缓存:如果分页查询结果相对稳定,可以考虑使用缓存技术(如Redis)缓存查询结果,减少数据库的访问次数。 6. 分批加载数据:如果可能,可以将大批量数据分成多个小批次加载,避免一次性加载过多数据导致性能下降。 7. 使用延迟加载:对于大批量数据中的某些字段,可以使用延迟加载技术,在需要时再加载这些字段的数据,减少数据传输量和处理时间。 8. 优化查询语句:通过分析和调整查询语句,使用合适的查询优化技巧,如避免使用全表扫描、合理使用索引等,提高查询性能。 以上是一些常用的方法,可以根据具体情况选择适合的优化策略来加快MySQL的大批量快速分页查询
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值