scala/java等其他语言从CSV文件中读取数据，使用逗号‘,‘分割可能会出现的问题

已于 2022-12-31 14:20:45 修改
阅读量1.4k 收藏 6
点赞数 1
分类专栏： 踩坑记录 文章标签： csv 大数据 scala excel
于 2021-01-30 00:43:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dtft_/article/details/113409233
版权
"本文探讨了Scala中处理包含内部逗号的CSV文件问题，提出如何使用正则表达式`split(",(?=([^""]*""[^""]*"")*[^""]*$)")`避免字段切割错误。通过实例说明了如何修复数组下标越界异常，并强调了针对引号内内容的分割策略。"
摘要由CSDN通过智能技术生成

众所周知，csv文件默认以逗号“,”分割数据，那么在scala命令行里查询的数据：
在这里插入图片描述
可以看见，字段里就包含了逗号“,”，那接下来切割的时候，这本应该作为一个整体的字段会以逗号“,”为界限进行切割为多个字段。

现在来看看这里的_c0字段一共有多少行记录。
在这里插入图片描述
记住这个数字：60351行

写scala代码读取csv文件并以逗号为分隔符来分割字段

val lineRDD = sc.textFile("xxxx/xxx.csv").map(_.split(
最低0.47元/天 解锁文章
孙晨c
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
从CSV文件中读取数据，使用逗号','分割问题
chunch48295的博客
04-20 1378
java读取CSV文件，CSV文件是以逗号分割，会遇到双引号中有逗号的情况。 解决办法：",(?=([^\"]*\"[^\"]*\")*[^\"]*$)" public static void main(String[] args) { String[] arrFileContent...
scala-csv:用于 Scala 的 CSV ReaderWriter
07-24
scala-csv 生成.sbt libraryDependencies + = " com.github.tototoshi " %% " scala-csv " % " 1.3.8 " 例子 进口 scala > import com . github . tototoshi . csv . _ 阅读示例 样本.csv a,b,c d,e,f 您可以使用 CSVReader#open 创建 CSVReader 实例。 scala > val reader = CSVReader .open( new File ( " sample.csv " )) 读取所有行 scala > val reader = CSVReader .open( new File ( " sample.csv " )) reader : com.github.tototoshi.csv. CSVReade
scala 如何读取 csv 文件
Smileyan's blog
09-15 9753
scala 读取 csv 文件
java生成csv文件时，某数据含有逗号，双引号的分割问题
weixin_39456915的博客
01-16 4408
解决思路: 某字符含有逗号时，将该字符用双引号引起来，那么字符里的逗号将不会被解析； 含有双引号时，可替换为两个双引号 public String handleCsvComma(String str) { String handleStr=str; //先判断字符里是否含有逗号 if(str.contains(",")){ //如果还有双引号，先将双引号转义，避...
Java读写CSV文件以及解决split分割单元格内英文逗号的问题
oak_javaLearner的博客
06-15 4027
.CSV文件是以逗号分割的数据仓储，读取数据时从每一行中读取一条数据元祖，也就是一条数据，再用字符分割的方式获取表中的每一个数据项。 package com.conn.csv; import java.io.BufferedReader; import java.io.FileReader; /** * @desc: 读取csv文件 * @author: tzconn@163.com * @time: 2018年3月22日16:22:41 */ public .
解决Java导出csv文件数据中包含逗号导致乱行的问题
z710757293的博客
07-23 7671
最近要做csv文件的导出，因为csv文件是用逗号隔开的文本文件，用excel打开csv文件的时候会按逗号分单元格。导致导出来的数据有的包含逗号的被隔开在多个单元格里面。 解决方式： 把数据中的逗号加上双引号，就可以避免被解析，可以防止上面的问题出现。 String value =json.getString(title); if(json.getString(title).contains(",")) { value = "\""+value+"\"";
c语言读取csv部分数据,C语言进行csv文件数据的读取
weixin_39975900的博客
05-21 1940
C语言进行csv文件数据的读取：#include #include #include #include #include int main(){FILE *fp = NULL;char *line,*record;char buffer[];//20450这个数组大小也要根据自己文件的列数进行相应修改。if((fp = fopen("All-w.csv", "r")) != NULL){fseek...
Scala CSV转case class对象，支持自定义解析
梦境迷离
05-03 610
背景 转为对象：方便地读取CSV文件到Scala类型，便于使用已知数据。 构造数据：随机Scala对象，写入CSV文件，便于创建或Mock新数据。 要求&目标 不引入任何第三方库，能够定制CSV某列的格式，可以解析复杂的CSV结构，而不仅限于普通的简单格式，最终能配置解析的一些规则。能使用类型安全的方式编程。 下面这个使用shapeless实现，比较简洁，能处理一般的转换，主要问题是我们需要处理CSV中的JSON，而并不需要shapeless的其他功能，所以，嗯。。为了一个方法引入了一个库，不可取。
pythonspark 写入csv_使用Spark读写CSV格式文件
weixin_39557402的博客
12-10 1009
CSV格式的文件也称为逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号。在本文中的CSV格式的数据就不是简单的逗号分割的)，其文件以纯文本形式存表格数据(数字和文本)。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段...
java分割读取csv文件内容可根据逗号引号来切割读取
05-22
可读取复杂的csv文件，根据引号和逗号等分割读取所需要的数据信息。
解决上传CSV文件时，用split()无法解决数据中的逗号“,“分割问题
tangjiaojiao123的博客
01-15 2720
java解决上传csv文件中数据的逗号
spark读取csv文件——scala
热门推荐
archer的技术故事
01-08 1万+
spark读取csv文件——scala 下面介绍如何通过scala读取csv文件 读取的过程是首先按照普通额文本文件进行读取，然后通过opencsv的jar包进行转换，通过对每行进行读取，生成string数组。 好，下面上货。 import java.io.StringReader import au.com.bytecode.opencsv.CSVReader object CC{
探索 Scala CSV：高效处理CSV数据的强大库
最新发布
gitblog_00090的博客
04-13 251
探索 Scala CSV：高效处理CSV数据的强大库 项目地址:https://gitcode.com/tototoshi/scala-csv 在数据分析和处理中，CSV文件是一种常见的数据交换格式，由于其简洁性和通用性而被广泛使用。今天，我们要向大家推荐一个由tototoshi开发的Scala库——Scala CSV，它为Scala开发者提供了一个强大且易于使用的工具，帮助他们高效地读取、写入和...
spark scala 读取CSV并进行处理
csm0401的专栏
02-23 4044
import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession import org.apache.spark.sql.functions._ object Dataframe_demo_01 { case class student11(name: String, course: String, score: String) def main(args: Array[String]): Unit = { .
scala读取文件
zhangbaoming815的博客
07-31 409
scala读取文件非常的简单，使用的都是scala模板提供的静态函数，打开一个文件的 IO 流就一句话，比Java的数据流包装简单： val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt")  得到数据IO流以后可以使用src.getLines()函数得到Iterator，后面就与J...
Spark读取CSV文件（Scala）
nxcjh321的专栏
08-12 5105
header: 是否指定首行作为schema。format: 指定读取的文件格式：csv。schema: 指定数据字段的格式。
示例：Scala读取文件和网络数据
drl_blogs的博客
06-13 704
读取文件（一次读取一行） import scala.io.Source object FileApp { def main(args: Array[String]): Unit = { val file = Source.fromFile("F:\\BigData\\wc.txt") def readLine(): Unit = { for (line <-...
Scala中读取本地文件wordCount
hzp666的博客
05-07 1238
import java.io.File import scala.collection.mutable.Map val textFilePath ="D:/doc/spark/input" //create a File val dirFile = new File(textFilePath) //to get every file or dir's path val files = dirFile.listFiles() //to save the word.
使用Scala的Spark API来读取Hadoop中的CSV文件并创建DataFrame对象
06-07
好的，以下是使用Scala的Spark API读取Hadoop中的CSV文件并创建DataFrame对象的示例代码： ```scala import org.apache.spark.sql.{SparkSession, DataFrame} import org.apache.spark.sql.types._ val spark = SparkSession.builder() .appName("Read CSV from Hadoop") .getOrCreate() // 定义Schema val schema = StructType( Array( StructField("id", IntegerType, true), StructField("name", StringType, true), StructField("age", IntegerType, true), StructField("gender", StringType, true), StructField("salary", DoubleType, true) ) ) // 读取CSV文件并创建DataFrame对象 val df: DataFrame = spark.read .schema(schema) .option("header", "true") .csv("hdfs://path/to/your/csv/file.csv") // 打印DataFrame中的数据 df.show() ``` 在这个示例中，我们首先定义了一个Schema，然后使用`spark.read`方法读取CSV文件并指定了Schema。使用`option`方法可以设置读取选项，如header选项用于指定CSV文件是否包含列名。最后，使用`df.show()`方法打印DataFrame中的数据。 需要注意的是，需要将`hdfs://path/to/your/csv/file.csv`替换为实际的Hadoop文件路径。另外，还需要确保运行这段代码的节点上已经安装了Spark和Hadoop，并且能够访问Hadoop集群中的文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙晨c

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值