解决spark中文乱码

最新推荐文章于 2022-11-22 18:33:15 发布
置顶 最新推荐文章于 2022-11-22 18:33:15 发布
阅读量1.2w 收藏 3
点赞数
分类专栏： spark 文章标签： spark 编码 utf-8 gbk 中文乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012893747/article/details/72844058
版权

由于spark在读取文件时的默认编码格式为utf-8，所以spark在处理gbk格式的文件时会出现乱码问题，以下代码则可以解决这一问题

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.io.LongWritable
import org.apache.hadoop.io.Text
import org.apache.hadoop.mapred.TextInputFormat
import org.apache.spark.rdd.RDD

val input = Utils.Basepath + "/viewLog/in/" //用户日志输入路径  
val conf = new SparkConf
val context = new SparkContext(conf)
val inputRdd = context.hadoopFile(input, classOf[TextInputFormat],
        classOf[LongWritable], classOf[Text]).map(
        pair => new String(pair._2.getBytes, 0, pair._2.getLength, "GBK"))
泪痕残
关注
专栏目录
spark处理中文乱码问题！！|����| | �㶫| | �Ϻ�| |����| |����| |����|
徐志的博客
09-08 1万+
既然能看见这篇文章，说明你遇到是乱码问题，具体问题咱们就不再分析了，直接来看为什么乱码，如何不让它乱码 首先咱们分析为什么会乱码，首先因为spark没有自己读取文件的方式所以它采用了hadoop的读取文件的方式，因为日志的格式是GBK编码的，而hadoop上的编码默认是用UTF-8，导致最终输出乱码。所以咱们应该制定编码格式是GBK的，下面通过一个案例来表示直接读取和指定方式读取的结果差别，以及...
Hive on Spark：解决hive中文乱码
weixin_55842692的博客
01-10 1195
客户端写入中文，服务端存储中文，客户端查询中文，所以客户端对中文进行编码时，不能乱： （1）必须使用可以支持中文编码的字符集：url参数后面添加 useUnicode=true&characterEncoding=UTF-8 （2）服务端收到中文后，必须用中文存，设置表的字符集： #修改字段注释字符集 alter table COLUMNS_V2 modify column COM...
Spark 处理中文字符乱码问题
weixin_40448238的博客
06-10 3447
今天使用Spark将处理文本数据并写入mysql中时出现了中文字符是乱码的问题。 刚开始，所有的中文字符都是**??**,查了很多的文档之后，将mysql的默认字符集修改为utf-8,但是中文仍然是乱码。 插入mysql时，连非中文字段也收到了影响： 最后的解决方法是： 在提交spark任务时，添加命令行参数： –conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" 数据库显示正常：
使用SparkSQL进行MySQL插入操作出现的中文乱码问题
Knight
11-14 1122
出现乱码现象 解决方案 jdbc:mysql://hadoop12:3306/recommend 在后面增添 ?useUnicode=true&characterEncoding=UTF-8 再次查看结果
spark-sql 支持中文
最新发布
赵英超的博客
11-22 2049
spark-sql
Spark 读取文件中文乱码解决
花开时节
11-18 7396
当我们获取文本文件数据源是，直接使用如下代码会出现中文乱码问题 val txt = sc.textFile(rootPath+ "/4/*")  解决方案：将文本先用数据流读进内存，转化成list，在转化成spark需要的格式。 val files = Source.fromFile("i:\\1\\1.txt","gbk" ).toList val rddt = sc.para...
解决Spark本地读取csv中文乱码问题
qq_43494013的博客
05-25 1751
问题： ±---------±----±--------±-----+ | user_id|class|user_name|gender| ±---------±----±--------±-----+ |1234552257| 9| ����| male| |1249193625| 13| �ּ�| male| |1682352065| 11| ������| male| |2600208451| 9| ��׼��| male| |3059451
spark-shell 显示乱码
weixin_33794672的博客
11-22 1019
用spark shell 进入console环境 查看字符集 scala> System.getProperty("file.encoding") res5: String = ISO-8859-1 修改字符集为UTF-8 scala> System.setProperty("file.encoding","UTF-8") res4: String = ISO-...
ubuntu spark中文乱码解决方法.docx
10-30
Ubuntu Spark 中文乱码解决方法 Ubuntu Spark 中文乱码解决方法是指在 Ubuntu 操作系统中使用 Spark 时遇到的中文乱码问题的解决方案。该问题是由于 Spark 自带的 JRE 中没有合适的中文字体所致。 解决 Spark 乱码...
spark on yarn 中文乱码
weixin_43370502的博客
08-02 2805
最近接了个云端日志项目，Logstash采集日志，抛到kafka集群，有sparkstreaming进行数据转，根据className查询redis获取相关提交人以及日期带出来，抛到rocketmq供其他部门使用，细节省略； 在spark-submit 提交代码到集群或者客户端运行的时候出现乱码，遇到这种情况，想到的就是编码问题， 因为在在本地运行spark streaming是可以处理中文的，放...
Spark----Spark加载中文乱码
XiaodunLP的博客
02-20 1973
在有些时候，spark加载HDFS或者本地文件中的中文时候会出现乱码的现象，因此需要在加载的时候进行一些字符的编码设置，将加载的文件的编码格式设置为UTF-8 以下是现有的解决方案和案例（直接读取hadoop file）  val rdd = sc.hadoopFile(file_path, classOf[TextInputFormat], classOf[LongWritabl...
spark sql连接mysql数据库查询乱码,解决方案
weixin_43114485的博客
03-28 1148
spark sql连接mysql数据库查询乱码,解决方案 现象:spark sql 连接数据库能查非中文ok,查询汉字就没结果,也不报错 原因:中文乱码 解决方案:useUnicode=true&characterEncoding=utf-8 代码: val conf = new SparkConf().setAppName("").setMaster("local") val spa...
SparkStream从kafka读取数据编码问题（Java）
liguangzhu620的博客
08-19 6740
SparkStreaming从kafka读取文件流时（Java），默认是utf-8的，如果源文件的编码不是utf-8，那就会出现乱码现象，但是kafka的官网参数里没有关于编码的参数，不过kafka的源码里面是有的。源码如下： publicvoidconfigure(Mapconfigs,booleanisKey){ StringpropertyName=isKey?"key.seri
spark 中文编码处理
weixin_30709929的博客
06-09 925
日志的格式是GBK编码的，而hadoop上的编码是用UTF-8写死的，导致最终输出乱码。 研究了下Java的编码问题。 网上其实对spark输入文件是GBK编码有现成的解决方案，具体代码如下 import org.apache.hadoop.io.LongWritable import org.apache.hadoop.io.Text import org.apache....
Spark DataFrame 读取 text（文本文件）乱码
a8131357leo的博客
08-07 1671
目前，Spark 2.4.3 读取 text（文本文件）的时候，只支持 UTF-8 编码，如果是其他编码（例如 GBK），返回的 DataFrame 会出现乱码。 import org.apache.spark.sql.functions.{col, decode} spark.read.format("text").load(filePath).select(decode(col("value"), encoding).as("value")) ...
spark解决text乱码问题
weixin_30314631的博客
04-12 752
package test import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.hive.HiveConte...
Spark stdout日志乱码
weixin_33828101的博客
06-05 327
采用Apache版本spark1.2.1时没有出现乱码，但spark-1.1.0-cdh5.2.1版本中，在分布处理的map函数里对数据进行打印输出进行debug时valrs=rdd.filter(e=>{val(lable,text)=(e._2(2),e._2(3));m.filterItem(lable,text)}) ...
Spark读取日志文件集中文乱码解决方法
11-30 3892
Spark读取日志中文乱码解决方法 问题展示 ���� 一般来说,这个问题多出现于GBK与UTF-8编码互相转换时。众所周知，GBK编码是windows系统的编码格式,而UTF-8是linux系统的编码格式,而且Git等开源软件也都使用UTF-8编码,所以简单了解这种编码问题就是一件十分必要的事情。 乱码切入 “����” “锟斤拷” "手持两把锟斤拷,口中疾呼烫烫烫,脚踏千朵屯屯屯,笑看万物锘锘锘” 先来段梗，娱乐一下，给出百科的解释，给各位科普一下 这里先分析下乱码原因，因为spark没有自己读取文
使用SparkSession创建Hive表时添加中文注释后乱码问题
mjgdjzh的专栏
12-02 783
在spark操作hive测试过程中，希望添加中文注释，后来发现中文乱码。 解决方法： 在hive元数据库中修改两张表的相应字段的数据编码格式，默认为latin1 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify co...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

泪痕残

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值