示例：统计IP地址对应的省份，并把结果存入到mysql

最新推荐文章于 2022-08-20 14:45:54 发布

drl_blogs

最新推荐文章于 2022-08-20 14:45:54 发布

阅读量854

点赞数 1

分类专栏： # Spark

本文链接：https://blog.csdn.net/drl_blogs/article/details/93597242

版权

该博客介绍如何从access.log文件中提取IP地址，解析它们对应的省份信息，并将这些数据存储到MySQL数据库中，实现日志分析与地理信息结合。

摘要由CSDN通过智能技术生成

ip.txt
在这里插入图片描述
access.log

import java.io.{
   BufferedReader, FileInputStream, InputStreamReader}
import java.sql.{
   Connection, DriverManager, PreparedStatement}

import org.apache.spark.{
   SparkConf, SparkContext}

import scala.collection.mutable.ArrayBuffer

case class ip(ip: String, ipLong: Long, ipLongMin: Long, ipLongMax: Long, city: String)

object ip extends App {
   

  private val sparkConf: SparkConf = new SparkConf().setAppName("ip").setMaster("local[1]")
  private val sc = new SparkContext(sparkConf)

  var ipLongs = sc.textFile("F:\\BigData\\ip\\access.log")
    .map(_.split("[|]"))
    .map(x =>