scala读取csv文件批量插入数据库

import java.io.FileWriter
import scala.io.Source



/** * 通过CSV文件,及其预处理的字段类型字符串,输出insert语句 */
class csv2InsertSQLServer {
  /** * @param CLASS_PATH 输入/输出路径 
* @param inFilename 输入文件名 
* @param tableName 表名 
* @param headType 表字段的类型,以竖线(|)分割 */
  def mkSQL(CLASS_PATH: String, inFilename: String, tableName: String, headType: String): Unit = {
    //输入/输出文件
    val IN_FILE_NAME = CLASS_PATH + "\\inData\\" + inFilename
    val OUT_FILE_NAME = CLASS_PATH + "\\outData\\" + inFilename //SQL字符串
    val inSqlString: StringBuilder = new StringBuilder //读取文件(CSV)
    val sourceFile = Source.fromFile(IN_FILE_NAME, "utf-8") //解析字段类型
    val headTypeList: Array[String] = headType.split("\\|")
    //拼装SQL
    inSqlString.append("insert into " + tableName + " values ")
    for (line <- sourceFile.getLines) {
      inSqlString.append("(")
      val lineList: Array[String] = line.split(",")
      val len = lineList.length for (i <- 0 to len - 1) {
        //null值处理
        if (lineList(i) == "\\N" || lineList(i) == "Null" || lineList(i) == "\\NuN") inSqlString.append("null,")
        //字符类型的字段拼装时候加引号
        else if (headTypeList(i).contains("varchar") || headTypeList(i).contains("string")) inSqlString.append("\"" + lineList(i) + "\",") else inSqlString.append(lineList(i) + ",")
      }
      inSqlString.deleteCharAt(inSqlString.length - 1)
      inSqlString.append("),\n")
    }
    val outFileWriter = new FileWriter(OUT_FILE_NAME)
    outFileWriter.write(inSqlString.deleteCharAt(inSqlString.length - 1).toString() + "\n")
    println(inSqlString.deleteCharAt(inSqlString.length - 1))
    outFileWriter.close()
    sourceFile.close()
  }
}

 

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值