解决spark中文乱码

最新推荐文章于 2022-11-22 18:33:15 发布
置顶 最新推荐文章于 2022-11-22 18:33:15 发布
阅读量1.2w 收藏 3
点赞数
分类专栏： spark 文章标签： spark 编码 utf-8 gbk 中文乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012893747/article/details/72844058
版权

由于spark在读取文件时的默认编码格式为utf-8，所以spark在处理gbk格式的文件时会出现乱码问题，以下代码则可以解决这一问题

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.io.LongWritable
import org.apache.hadoop.io.Text
import org.apache.hadoop.mapred.TextInputFormat
import org.apache.spark.rdd.RDD

val input = Utils.Basepath + "/viewLog/in/" //用户日志输入路径  
val conf = new SparkConf
val context = new SparkContext(conf)
val inputRdd = context.hadoopFile(input, classOf[TextInputFormat],
        classOf[LongWritable], classOf[Text]).map(
        pair => new String(pair._2.getBytes, 0, pair._2.getLength, "GBK"))
泪痕残
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
spark处理中文乱码问题！！|����| | �㶫| | �Ϻ�| |����| |����| |����|
徐志的博客
09-08 1万+
既然能看见这篇文章，说明你遇到是乱码问题，具体问题咱们就不再分析了，直接来看为什么乱码，如何不让它乱码 首先咱们分析为什么会乱码，首先因为spark没有自己读取文件的方式所以它采用了hadoop的读取文件的方式，因为日志的格式是GBK编码的，而hadoop上的编码默认是用UTF-8，导致最终输出乱码。所以咱们应该制定编码格式是GBK的，下面通过一个案例来表示直接读取和指定方式读取的结果差别，以及...
Spark 处理中文字符乱码问题
weixin_40448238的博客
06-10 3313
今天使用Spark将处理文本数据并写入mysql中时出现了中文字符是乱码的问题。 刚开始，所有的中文字符都是**??**,查了很多的文档之后，将mysql的默认字符集修改为utf-8,但是中文仍然是乱码。 插入mysql时，连非中文字段也收到了影响： 最后的解决方法是： 在提交spark任务时，添加命令行参数： –conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" 数据库显示正常：
使用SparkSQL进行MySQL插入操作出现的中文乱码问题
Knight
11-14 1078
出现乱码现象 解决方案 jdbc:mysql://hadoop12:3306/recommend 在后面增添 ?useUnicode=true&characterEncoding=UTF-8 再次查看结果
spark-sql 支持中文
赵英超的博客
11-22 1976
spark-sql
Spark 读取文件中文乱码解决
花开时节
11-18 7327
当我们获取文本文件数据源是，直接使用如下代码会出现中文乱码问题 val txt = sc.textFile(rootPath+ "/4/*")  解决方案：将文本先用数据流读进内存，转化成list，在转化成spark需要的格式。 val files = Source.fromFile("i:\\1\\1.txt","gbk" ).toList val rddt = sc.para...
ubuntu spark中文乱码解决方法.docx
10-30
Ubuntu Spark 中文乱码解决方法 Ubuntu Spark 中文乱码解决方法是指在 Ubuntu 操作系统中使用 Spark 时遇到的中文乱码问题的解决方案。该问题是由于 Spark 自带的 JRE 中没有合适的中文字体所致。 解决 Spark 乱码...
Flex解决乱码问题
09-25
本文将详细介绍如何解决Flex应用程序在不同浏览器上出现的中文乱码问题，并确保所有用户都能看到正确的文本。 ### 一、问题背景 Flex是一种用于构建和部署跨平台桌面和Web应用程序的开源框架。由于Flex应用是基于...
解决hibernate与MySql存储中文时出现乱码问题
11-19
以下是解决hibernate与MySQL存储中文时出现乱码问题的详细步骤和相关知识点： 1. **配置Hibernate连接URL**： 在`hibernate.cfg.xml`配置文件中，需要正确设置连接URL以指定字符集。添加`useUnicode=true`和`...
hive-exec-2.1.1.jar
04-14
解决Hive中文乱码问题通常涉及以下几个方面： 1. **配置Hive配置文件**：修改`hive-site.xml`，确保`hive.exec.charset`和`hive.server2.logging.operation.charset`等属性设置为UTF-8，以支持中文字符。 2. **...
大数据demo黑马畅聊资料全
04-12
1. **HIVE中文乱码解决**： - Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。然而，由于字符编码问题，Hive在处理中文数据时可能出现乱码。 - 解决方法通常包括...
解决Spark本地读取csv中文乱码问题
qq_43494013的博客
05-25 1681
问题： ±---------±----±--------±-----+ | user_id|class|user_name|gender| ±---------±----±--------±-----+ |1234552257| 9| ����| male| |1249193625| 13| �ּ�| male| |1682352065| 11| ������| male| |2600208451| 9| ��׼��| male| |3059451
spark sql连接mysql数据库查询乱码,解决方案
weixin_43114485的博客
03-28 1110
spark sql连接mysql数据库查询乱码,解决方案 现象:spark sql 连接数据库能查非中文ok,查询汉字就没结果,也不报错 原因:中文乱码 解决方案:useUnicode=true&characterEncoding=utf-8 代码: val conf = new SparkConf().setAppName("").setMaster("local") val spa...
SparkStream从kafka读取数据编码问题（Java）
liguangzhu620的博客
08-19 6694
SparkStreaming从kafka读取文件流时（Java），默认是utf-8的，如果源文件的编码不是utf-8，那就会出现乱码现象，但是kafka的官网参数里没有关于编码的参数，不过kafka的源码里面是有的。源码如下： publicvoidconfigure(Mapconfigs,booleanisKey){ StringpropertyName=isKey?"key.seri
Spark DataFrame 读取 text（文本文件）乱码
a8131357leo的博客
08-07 1621
目前，Spark 2.4.3 读取 text（文本文件）的时候，只支持 UTF-8 编码，如果是其他编码（例如 GBK），返回的 DataFrame 会出现乱码。 import org.apache.spark.sql.functions.{col, decode} spark.read.format("text").load(filePath).select(decode(col("value"), encoding).as("value")) ...
spark解决text乱码问题
weixin_30314631的博客
04-12 725
package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveConte...
Spark stdout日志乱码
weixin_33828101的博客
06-05 302
采用Apache版本spark1.2.1时没有出现乱码，但spark-1.1.0-cdh5.2.1版本中，在分布处理的map函数里对数据进行打印输出进行debug时valrs=rdd.filter(e=>{val(lable,text)=(e._2(2),e._2(3));m.filterItem(lable,text)}) ...
Spark读取日志文件集中文乱码解决方法
11-30 3799
Spark读取日志中文乱码解决方法 问题展示 ���� 一般来说,这个问题多出现于GBK与UTF-8编码互相转换时。众所周知，GBK编码是windows系统的编码格式,而UTF-8是linux系统的编码格式,而且Git等开源软件也都使用UTF-8编码,所以简单了解这种编码问题就是一件十分必要的事情。 乱码切入 “����” “锟斤拷” "手持两把锟斤拷,口中疾呼烫烫烫,脚踏千朵屯屯屯,笑看万物锘锘锘” 先来段梗，娱乐一下，给出百科的解释，给各位科普一下 这里先分析下乱码原因，因为spark没有自己读取文
spark不同版本读取csv文件出现的编码问题
coolljp21的博客
02-01 1764
昨天在跑的时候发现一个问题，因为在本地的spark版本号为spark 2.4， 集群上的为spark 2.1，代码在spark2.4跑挺好，在spark2.1跑不起来。 用sparkSession读完csv文件，对列进行过滤，在spark2.4，可见"is_claim"已经被过滤掉。 然鹅，在spark2.1中，此列并无法过滤，赫然在列！ 究其原因，碰巧无奈在一次打印feature_cols的...
Spark之数据读存
sugar-foxs
03-15 223
Spark可以通过不同途径读取和存储数据。以下是基于java编程的。一，读存文本文件里的数据1，读取数据；file是文件路径SparkConf conf = new SparkConf().setAppName("Simple Application");JavaSparkContext sc = new JavaSparkContext(conf);JavaRDD<String> i...
spark java arg 中文乱码
最新发布
08-13
Spark Java Arg中的中文乱码通常是由于字符编码设置不当引起的。当你通过命令行传递包含中文参数给Spark应用程序时，如果系统默认的编码不是UTF-8或其他支持中文的编码，可能会导致中文显示为乱码。 以下是解决这个问题的一些步骤： 1. **检查命令行编码**：确保你的操作系统和终端环境的默认编码设置为UTF-8。比如，在Linux/Mac上可以修改`locale`变量。 ```sh export LANG=en_US.UTF-8 ``` 2. **设置Java应用的编码**：在启动Spark应用程序时，可以明确指定使用的字符集。例如，在Java程序中添加 `-Dfile.encoding=UTF-8` 参数： ```java SparkConf conf = new SparkConf().setAppName("myApp"); conf.set("spark.jars", "/path/to/spark.jar"); conf.set("spark.driver.extraJavaOptions", "-Dfile.encoding=UTF-8"); // 创建SparkContext SparkContext sc = new SparkContext(conf); ``` 3. **处理字符串**：如果你在代码中直接处理命令行参数，记得将接收到的字符串先转换为UTF-8格式： ```java String cmdArg = commandLineArgs; String decodedCmdArg = new String(cmdArg.getBytes(StandardCharsets.UTF_8), StandardCharsets.UTF_8); ``` 4. **测试**：确保在运行程序时尝试一些包含中文的命令行参数，看看是否正常显示。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

泪痕残

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值