1.需求
根据访问日志中的ip地址计算出访问者的归属地,并且按照省份,计算出访问次数,最后将计算好的结果写入到Mysql中
2.思路分析
1)整理访问日志中的数据,切分出ip字段,然后将ip字段转换成十进制
2)加载ip地址的规则,取出有用的字段,然后将数据缓存到内存中(Executor中的内存)
3)将访问日志中的ip与ip地址的规则进行匹配(使用二分查找进行匹配)
4)取出对应的省份名称,将其和1组合在一起
5)按照省份名进行聚合
6)将聚合后的数据写入Mysql
3.本地模式实现
有了上边的分析,我们可以现在本地模式下实现一下,在本地模式下实现起来比较简单
先放上实现代码和效果:
package cn.ysjh0014
import scala.io.{BufferedSource, Source}
object TestIp {
//将ip地址转换为十进制
def ip2Long(ip: String): Long = {
val fragments = ip.split("[.]")
var ipNum = 0L
for (i <- 0 until fragments.length) {
ipNum = fragments(i).toLong | ipNum << 8L
}
ipNum
}
//读取ip规则,并整理
def readRules(path: String): Array[(Long, Long, String)] = {
//读取ip规则
val bf: BufferedSource = Source.fromFile(path)
val lines: Iterator[String] = bf.getLines()
//对ip规则进行整理,并放入到内存
val rules: Array[(Long, Long, String)] = lines.map(line => {
val fileds = line.split("[|]")
val startNum = fileds(2).toLong
val endNum = fileds(3).toLong
val province = fileds(7)
(startNum, endNum, province)
}).toArray
rules
}
//二分查找
def binarySearch(lines: Array[(Long, Long, String)], ip: Long): Int = {
var low = 0
var high = lines.length - 1
while (low <= high) {
val middle = (low + high) / 2
if ((ip >= lines(middle)._1) && (ip <= lines(middle)._2))
return middle
if (ip < lines(middle)._1)
high = middle - 1
else {
low = middle + 1
}
}
-1
}
def main(args: Array[String]): Unit = {
//读取ip规则,这些数据是在内存中
val rules: Array[(Long, Long, String)] = readRules("D:\\视频\\小牛学堂-2018\\06-Spark安装部署到高级-10天\\spark-04-Spark案例讲解\\课件与代码\\ip\\ip.txt")
//将ip转换为十进制
val ipNum = ip2Long("120.78.142.230")
//查找
val index = binarySearch(rules, ipNum)
var Num = "未查找到该ip所在地区"
if (index != -1) {
Num = rules(index)._3
}
print(Num)
}
}
运行结果:
上边测试的ip地址是我买的阿里云的服务器的公网ip地址,广东省深圳市的,还算比较准确,这个ip地址的规则实在淘宝买的,比较早期的,不是很全面
日志文件及ip地址规则下载: 链接:https://pan.baidu.com/s/1G0DuO2pTbYCm-Ym6V0KDYw
提取码:6egh