Scala日志log4j，序列化Gson

一、日志输出log4j

1. Scala中配置log4j依赖

对于 Maven 项目，可以在 pom.xml 文件中添加以下内容：

<dependency>
    <groupId>log4j</groupId>
    <artifactId>log4j</artifactId>
    <version>1.2.17</version>
</dependency>

2.创建 log4j 配置文件

通常是 log4j.properties 或 log4j.xml。这个文件将包含 log4j 的配置信息，如输出位置、日志级别等

# 设置根日志记录器的级别
log4j.rootLogger=DEBUG, file

# 定义日志输出的目标
log4j.appender.file=org.apache.log4j.FileAppender
log4j.appender.file.File=/path/to/logfile.log

# 设置日志输出格式
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

3. 在scala代码中使用log4j

在 Scala 代码中，你可以通过获取 Logger 实例并使用该实例记录日志

package com.example
import java.nio.file.Paths
import org.apache.spark.sql.{Dataset, SparkSession}

import org.apache.log4j.{LogManager, Logger}

object CalAddOb {

  def main(args:Array[String]) {
    val path = Paths.get("").toAbsolutePath.toString
    println(s"当前文件的目录路径: $path")

    val log: Logger = LogManager.getLogger(this.getClass)

    log.info("hello world!")
    log.info("This is an informational message")
    log.warn("This is an warning message")
    log.error("This is an error message")
    }

二、Gson

Gson是Google开发的一个Java库，用于将Java对象和JSON数据之间进行序列化和反序列化。在Scala中，也可以通过使用Gson库来操作JSON数据。

Gson可以把Java/Scala对象转换为JSON格式的数据，并且可以将JSON数据解析成对应的Java/Scala对象。

package com.example
import com.google.gson.Gson

object CalAddOb {
  case class Person(name: String, age: Int)

  def main(args:Array[String]) {
    val person = Person("Alice", 25)
    val gson = new Gson()
    val jsonString = gson.toJson(person)  //转为Json
    println(jsonString)

    val personNew = gson.fromJson(jsonString, classOf[Person])
    println(personNew)    //转为Scala对象
    println(personNew.toString)
    }
}

三、读取hbase文件

import org.apache.spark.SparkConf
import org.apache.spark.sql.{Dataset, SparkSession}

import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.Path
import org.apache.hadoop.hbase.CellUtil
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.KeyValue
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.io.hfile.HFile
import org.apache.hadoop.hbase.util.Bytes


object DataProcess {
  def main(args: Array[String]): Unit = {
    println('Star...')


  }

  def LoadHabasefile(): Unit = {
    println("Start...")
    val inputFile = "your_file_path"

    // 创建HBase配置
    val hbaseConf: Configuration = HBaseConfiguration.create()
    val fs = FileSystem.get(hbaseConf)
    val hfileReader = HFile.createReader(fs, new Path(inputFile), hbaseConf)
    val scanner = hfileReader.getScanner(false, false)
    val key = new ImmutableBytesWritable()
    val value = new KeyValue()

    scanner.seekTo()

    var i = 0

    while (scanner.next() && i < 5) {
      val rowKey = Bytes.toString(key.get())
      val col1Value = Bytes.toString(CellUtil.cloneValue(value))
      val col2Value = Bytes.toString(CellUtil.cloneValue(value))

      println(s"Row key: $rowKey, col1 value: $col1Value, col2 value: $col2Value")

      i += 1

    }

    hfileReader.close()
    fs.close()
  }

}