spark不同版本读取csv文件出现的编码问题

最新推荐文章于 2023-03-11 20:22:36 发布
最新推荐文章于 2023-03-11 20:22:36 发布
阅读量1.7k 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/coolljp21/article/details/86737344
版权

昨天在跑的时候发现一个问题，因为在本地的spark版本号为spark 2.4， 集群上的为spark 2.1，代码在spark2.4跑挺好，在spark2.1跑不起来。

用sparkSession读完csv文件，对列进行过滤，在spark2.4，可见"is_claim"已经被过滤掉。
spark2.4 运行

然鹅，在spark2.1中，此列并无法过滤，赫然在列！
spark2.1运行

究其原因，碰巧无奈在一次打印feature_cols的时候，发现此列较其他列多了一位空格，并不是真的空格，是BOM字节流标记----- \uFEFF。

这并不是ide设置或者是excel编译转译出问题，是spark读取csv的时候出问题。

解决方案1，
解决方案1

coolljp21
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Spark]调用RDD[InternalRow]的filter方法过滤csv文件
I have a adream
12-30 1100
import org.apache.spark.sql.SparkSession object SqlExample { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .master("local") .appName("Spark sql ...
读取csv清洗数据_四十、SparkSQL读取csv数据源
weixin_36308543的博客
01-12 363
Spark读取csv数据源SparkSQL支持多种数据源的读写，也支持csv数据源的读写。csv是一种以逗号分隔格式的文件。1.构建csv数据集honglou.csv1,贾宝玉,25,男,红楼梦,曹雪芹2,林黛玉,20,女,红楼梦,曹雪芹3,薛宝钗,22,女,红楼梦,曹雪芹4,史湘云,19,女,红楼梦,曹雪芹5,王熙凤,23,女,红楼梦,曹雪芹6,秦可卿,18,女,红楼梦,曹雪芹7,贾琏,28,男...
Spark DataFrame 读取 text（文本文件）乱码
a8131357leo的博客
08-07 1632
目前，Spark 2.4.3 读取 text（文本文件）的时候，只支持 UTF-8 编码，如果是其他编码（例如 GBK），返回的 DataFrame 会出现乱码。 import org.apache.spark.sql.functions.{col, decode} spark.read.format("text").load(filePath).select(decode(col("value"), encoding).as("value")) ...
解决spark中文乱码
u012893747的博客
06-02 1万+
由于spark在读取文件时的默认编码格式为utf-8，所以spark在处理gbk格式的文件时会出现乱码问题，以下代码则可以解决这一问题import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.io.LongWritable import org.apache.hado
Spark 读取csv文件/读取mysql数据
kerry_55的博客
06-26 1238
1、spark读取csv数据文件 https://www.cnblogs.com/gaopeng527/p/4961464.html val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "/tmp/model/nlp/lda/data_result_0605_new.txt", "header"-&gt...
scala语言spark读取csv中文乱码
Ficery的博客
12-25 2140
中文编码错乱如图： 解决方法：读取文本文件时，以spark.sparkContext.hadoopFile方法，对字符串的编码进行转换 import org.apache.hadoop.io.{LongWritable, Text} import org.apache.hadoop.mapred.TextInputFormat import org.apache.spark.rdd.RDD i...
使用篇-使用shell统计文件行数的几种方法和spark读取csv的常用注意点分享
爱程序，爱生活
08-21 1122
1.shell命令统计文件行数的几种方式 wc -l # wc的-l命令 line awk 'END{print NR}' # awk awk '{print NR}' |tail -n1 #awk grep -n ""|awk -F: '{print '}|tail -n1 #awk sed -n '$=' # sed 2.spark读取csv文件时常用的option参数解释 option desc header 默认false 将第一行作为列名 sep 默认, 指定单个字符
pyspark 读取本地csv_pyspark学习系列（二）读取CSV文件 为RDD或者DataFrame进行数据处理...
weixin_39688019的博客
12-29 1355
一、本地csv文件读取：最简单的方法：importpandas as pdlines=pd.read_csv(file)lines_df= sqlContest.createDataFrame(lines)或者采用spark直接读为RDD 然后在转换importpandas as pdfrom pyspark.sql importSparkSessionfrom pyspark importSpa...
Spark 读取csv文件操作，option参数解释
热门推荐
善皮之的博客
05-14 2万+
Spark读取CSV文件详解 如题，有一个spark读取csv的需求，这会涉及到很多参数。通过对源码(spark version 2.4.5(DataFrameReader.scala:535 line))的阅读，现在我总结在这里： spark读取csv的代码如下 val dataFrame: DataFrame = spark.read.format("csv") .option("header", "true") .option("encoding", "gbk231
Spark之数据读存
sugar-foxs
03-15 226
Spark可以通过不同途径读取和存储数据。以下是基于java编程的。一，读存文本文件里的数据1，读取数据；file是文件路径SparkConf conf = new SparkConf().setAppName("Simple Application");JavaSparkContext sc = new JavaSparkContext(conf);JavaRDD<String> i...
Spark读取文本或CSV文件中文乱码的解决方案
大模型大数据攻城狮的专栏
05-07 1万+
使用Spark的默认方法，spark.read.option("header","true").csv(path)读取CSV文件或spark.read.textFile(path)读取文本文件，由于这2个方法默认是UTF-8编码，如果源数据带有GBK或GB2312的编码，就会出现Spark读取文本的中文乱码。 如果读取CSV文件的，可以用下面的，下面是用GBK为示例，可以根据实际替换 ...
在spark-shell中解决error: not found: value StructType/StructField/StringType问题
someby的博客
11-06 3059
问题描述： 在Spark-shell中运行官方文档提供的例子时，出现error: not found: value StructType/StructField/StringType的错误 解决方法： stackoverflow上 给出的解决方法是导入相应的类型  import org.apache.spark.sql.types._ 导入后问题就解决了...
使用spark对输入目录的文件进行过滤
阿正的博客
11-07 1190
使用spark进行文件过滤 在使用spark的很多情形下, 我们需要计算某个目录的数据. 但这个文件夹下面并不是所有的文件都是我们想要计算的 比如 : 对于某一天的数据,我们只想计算其中的几个小时,这个时候就需要把剩下的数据过滤掉 更坏的一种情形 : 对于那些正在copy(还没有完成),或者是.tmp临时文件, 程序在读取的过程中,文件发生变化已经复制完成或者被删除,都会导致程序出错而停掉 ...
Java Spark RDD读取GBK格式的文件
yeqingyun2012的博客
04-20 1099
1、由于jsc.textFile(path)默认读取UTF-8编码格式的文件，因此读取GBK格式的文件需要做一些特殊的处理。2、程序如下：              SparkConf conf = new SparkConf()        .setMaster("local[*]")//本地运行需要加这句话，若放在集群上注释掉即可        .setAppName("GBK READ")...
Spark乱码处理以及保存csv格式
qq_32253371的博客
05-04 4061
import org.apache.hadoop.io.{LongWritable, Text} import org.apache.hadoop.mapred.TextInputFormat import java.io.{StringReader, StringWriter} import org.apache.spark.SparkContext import org.apache.spa...
Spark dataframe数据预处理---csv文件读取与保存
czy的博客
04-14 2308
1、读取csv文件 val data_left_ori = spark.read .option("inferSchema","true")//自动推导数据类型 .option("header","true")//读取列名 .csv("/user/root/image.csv")//文件路径 2、保存csv文件 data.coalesce(1)//文件分区设置为1...
Spark之本地模式与集群模式
kwame211的博客
03-16 708
Spark之本地模式与集群模式 1.spark-shell的本地模式和集群模式 1.1 local本地模式 直接启动spark-shell命令窗口 脚本启动后，会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图： 1.1.1 加载本地数据 sc.textFile("file:///home/hadoop/words.txt").flatMap(...
Spark知识点总结
weixin_50528552的博客
03-11 905
Spark知识点总结
Spark处理csv文件
weixin_49983668的博客
09-11 1979
Spark处理csv文件: csv数据如下: 首先是如何去除第一行: 将"header"设置为"true",意思是把csv文件的第一行不作为表头 将"header"设置为"fasle"意思是把csv文件的第一行作为表头 第二步将文件转为DataFrame: 创建数组接收,这样处理的好处是:需要哪几列数据根据数组下标提取即可 之后toDF设置每列的表头,结果如下: ...
spark读取、保存.csv文件、并指定编码格式
最新发布
03-16
读取CSV文件： ```python df = spark.read.format("csv").option("header", "true").option("encoding", "UTF-8").load("path/to/file.csv") ``` 保存CSV文件： ```python df.write.format("csv").option("header...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值