大数据学习之路81-根据ip计算归属地

最新推荐文章于 2024-03-26 09:38:43 发布

未来@音律

最新推荐文章于 2024-03-26 09:38:43 发布

阅读量592

点赞数

分类专栏：大数据生态圈从入门到精通

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/qq_37050372/article/details/82839573

版权

大数据生态圈从入门到精通专栏收录该内容

131 篇文章 36 订阅 ¥19.90 ¥99.00

订阅专栏

本文介绍了如何处理访问日志，通过二分查找法在IP规则库中快速查找每个记录对应的省份。同时，利用广播变量在大数据处理中节省资源，最终实现高效地计算IP的归属地。

摘要由CSDN通过智能技术生成

先来看看我们需要操作的文件：

左边是我们的访问日志，右边是ip规则，而我们需要做的就是

根据左边的访问记录中的ip，在ip规则中确定出这条记录所在的省份。

我们在整个操作中会用到二分查找，因为这样会快速定位。

还有将ip转换为long值的方法。

还会用到广播变量，这样就会节省资源。

package com.test.IpText

object IpTest{
  def ip2Long(ip:String):Long = {
    val fragments = ip.split("[.]")
    var ipNum = 0L
    for(i <- 0 until fragments.length){
      ipNum = fragments(i).toLong | ipNum << 8L
    }
    ipNum

  }

  def binarySearch(lines:Array[(Long,Long,String)],ip:Long):Int = {
    var low = 0
    var high

了解本专栏