java csv 双引号_Java-使用Scess编写CSV时从字符串类型数据中删除双引号

最新推荐文章于 2021-03-04 15:56:10 发布

Waiyuet Fung

最新推荐文章于 2021-03-04 15:56:10 发布

阅读量398

点赞数

文章标签： java csv 双引号

本文链接：https://blog.csdn.net/weixin_35749545/article/details/114185946

版权

本文讨论了如何在使用Java和Spark处理CSV数据时，从字符串数据中移除双引号。示例代码展示了在写入CSV文件时，尽管尝试设置QuoteMode为None，但仍遇到双引号的问题。作者寻求关于Java或Spark配置的建议以解决问题。

摘要由CSDN通过智能技术生成

我们正在使用带有Spark的Java。当前的需求是编写一个 DataSet 到Spark，空间作为Delimeter。下面是我尝试过的代码：

fooDataSetObject.coalesce(1).map((MapFunction) fooDataSet ->

FileOperations.call(fooDataSet,broadcastedProperty),encoder).select("column","cons_zero",

"columnA","columnB","columnC","columnD",

"constants_value")

.write()

.format("com.databricks.spark.csv")

.option("inferSchema", true)

.option(Constants.DELIMITER, " ")

.option(Constants.IGNORE_LEADING_WHITESPACE, ApplicationConstants.FALSE)

.option(Constants.IGNORE_TRAILING_WHITESPACE, ApplicationConstants.FALSE)

.option("quote", " ")

.mode(SaveMode.Overwrite)

.save(path);

我用了QuoteMode作为None，但没用。

在Java或SCAP的配置方面，还有什么需要做的吗？在提交spark作业并将编码器作为UTF-8时，我尝试使用--conf作为参数。

如有任何帮助或建议，我们将不胜感激。

示例 DataSet 值：

| 00123400| 93115212345678| 16| 0C|Tickets Cash-back | 57695857| 602140| 24394483| 24394483| 0| 99|60214057695857Tic...|66754325-83d1-426...| 24| null| 01|c28380c5-c926-4b4...|Identity Defence |Let's Go...Rewards| null| null| ON| 17| 12345678|GB 29 NWBK 12345 ...| 931152| null|cb032911-4c4e-406...| null| 20987|ABC...| GBR| 962000| cashback|null|X Batch | null| 99|12345 |

| 00123400| 93115212345678| 17| 0C|Tickets Cash-back | 57695857| 602140| 24394483| 24394483| 0| 99|60214057695857Tic...|23703242-e130-48b...| 24| null| 01|a4e52b47-8866-4d1...|Identity Defence |Let's Go...Rewards| null| null| ON| 17| 12345678|GB 29 NWBK 12345 ...| 931152| null|ee98f2e8-f489-4f3...| null| 20987|ABC...| GBR| 962000| cashback|null|X Batch | null| 99|12345 |

| 00123400| 93115212345678| 19| 0C|Tickets Cash-back | 57695857| 602140| 24394483| 24394483| 0| 99|60214057695857Tic...|c7138601-b26d-49d...| 24| null| 01|dfefcf96-4f56-4ab...|Identity Defence |Let's Go...Rewards| null| null| ON| 17| 12345678|GB 29 NWBK 12345 ...| 931152| null|dd9027bd-4fcd-45d...| null| 20987|ABC...| GBR| 962000| cashback|null|X Batch | null| 99|12345 |

| 00123400| 93115212345678| 20| 0C|Tickets Cash-back | 57695857| 602140| 24394483| 24394483| 0| 99|60214057695857Tic...|63cbd563-2af4-472...| 24| null| 01|9629f346-7dde-429...|Identity Defence |Let's Go...Rewards| null| null| ON| 17| 12345678|GB 29 NWBK 12345 ...| 931152| null|7b9d0698-0de1-45d...| null| 20987|ABC...| GBR| 962000| cashback|null|X Batch | null| 99|12345 |

输出：

93115212345678 0 "GB 29 NWBK 12345 78978911 " 00123400 "12345 " 99 "60214057695857Tickets Cash-back 0"