使用Spark 编码 写入 hive 的过程中 hive字段乱码 [解决方案]

由于元数据中的表结构中包含中文,我在抽取到spark过程中已经解决了一次乱码问题,具体显示为问题????,解决方法是在mysql连接上加参数

spark 字段乱码

  def readMysql(sparkSession: SparkSession,table: String): DataFrame = {
    val frame: DataFrame = sparkSession
      .read
      .format("jdbc")
      .option("url", "jdbc:mysql://master:3306/hotel?useSSL=false&characterEncoding=utf8")
      .option("dbtable", table)
      .option("user", "root")
      .option("password", "123456")
      .option("driver", "com.mysql.jdbc.Driver").load()
    frame
  }

读取mysql成功解决乱码

我经过清洗之后,准备写入到hive中,等我写完后,我以为完活啦,可是没想到等我再次使用数据的时候,个别字段值全是null,我在hive查看过数据之后又看表结构,发现表结构中中文是乱码的,我猜想,这应该就导致了字段值无法插入对应字段的结果,找不到对应的字段了,因为乱码了。
开始了我的网上冲浪,最后因为我是字段乱码,我翻阅了很多不管用的资料。

好啦,把解决方法给阿大家整理了出来啦

hive字段乱码 [解决方案]

登录hive元数据库 mysql

use hive;

修改表字段注释编码和表字段编码

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

修改分区字段编码

alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
-- 注意选择对应的元数据存储数据库
use hive_db;
-- 修改表字段注释字符集
ALTER TABLE COLUMNS_V2 MODIFY COLUMN `COMMENT` varchar(256) CHARACTER SET utf8;
-- 修改表字段名字符集
ALTER TABLE COLUMNS_V2 MODIFY COLUMN `COLUMN_NAME` varchar(767) CHARACTER SET utf8;

-- 修改表属性Key和Value字符集
ALTER TABLE TABLE_PARAMS MODIFY COLUMN `PARAM_VALUE` varchar(4000) CHARACTER SET utf8;
ALTER TABLE TABLE_PARAMS MODIFY COLUMN `PARAM_KEY` varchar(256) CHARACTER SET utf8;

-- 修改分区属性Key和Value字符集
ALTER TABLE PARTITION_PARAMS MODIFY COLUMN `PARAM_KEY` varchar(256) CHARACTER SET utf8;
ALTER TABLE PARTITION_PARAMS MODIFY COLUMN `PARAM_VALUE` varchar(4000) CHARACTER SET utf8;
-- 修改分区字段Key和Value字符集
ALTER TABLE PARTITION_KEYS MODIFY COLUMN `PKEY_COMMENT` varchar(4000) CHARACTER SET utf8;
ALTER TABLE PARTITION_KEY_VALS MODIFY COLUMN `PART_KEY_VAL` varchar(256) CHARACTER SET utf8;
-- 修改分区的分区名字符集
ALTER TABLE `PARTITIONS` MODIFY COLUMN `PART_NAME` varchar(767) CHARACTER SET utf8;

-- 修改索引属性Key和Value字符集
ALTER TABLE INDEX_PARAMS MODIFY COLUMN `PARAM_KEY` varchar(256) CHARACTER SET utf8;
ALTER TABLE INDEX_PARAMS MODIFY COLUMN `PARAM_VALUE` varchar(4000) CHARACTER SET utf8;

修改hive配置文件

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://hadoop-3/hive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property>

重启hive生效

nohup hive --service metastore &
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
### 回答1: Spark 3.0 可以使用 SparkSession 将数据写入 Hive。首先需要创建一个 SparkSession,然后使用SparkSession 对数据进行处理,并将数据写入 Hive。下面是一个示例代码: ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Write to Hive") \ .enableHiveSupport() \ .getOrCreate() # 将数据读取为 DataFrame df = spark.read.format("csv").load("/path/to/data.csv") # 将 DataFrame 写入 Hive 表 df.write.mode("overwrite").saveAsTable("database.table") # 关闭 SparkSession spark.stop() ``` 其,`enableHiveSupport()` 方法启用对 Hive 的支持,`format("csv")` 方法指定数据源的格式,`saveAsTable("database.table")` 方法将 DataFrame 写入指定的 Hive 表,`mode("overwrite")` 方法指定写入模式为覆盖模式。 需要注意的是,需要确保在运行该代码之前已经创建了指定的 Hive 表,并且表的结构与 DataFrame 的结构匹配。 ### 回答2: Spark 3.0写入Hive过程如下: 1. 首先,我们需要在Spark应用程序引入Hive的相关依赖。可以通过添加以下Maven坐标来引入: ``` groupId = org.apache.spark artifactId = spark-hive_2.12 version = 3.0.1 ``` 2. 在Spark应用程序创建一个HiveContext或者SparkSession,并设置其使用Hive作为元数据存储: ```scala val spark = SparkSession.builder() .appName("Write to Hive") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") // 设置Hive数据存储位置 .enableHiveSupport() // 启用Hive支持 .getOrCreate() ``` 3. 然后,我们可以使用DataFrame或Dataset的write方法将数据写入Hive表。例如,假设我们有一个名为"my_table"的Hive表,我们可以将DataFrame写入该表: ```scala val data = spark.read.format("csv").load("/path/to/data.csv") data.write.mode("overwrite").saveAsTable("my_table") ``` 这将使用DataFrame数据覆盖"my_table"表的内容。 4. 如果我们想要将数据追加到现有的Hive,可以将write操作的模式设置为"append": ```scala data.write.mode("append").saveAsTable("my_table") ``` 这将在"my_table"表追加新的数据。 5. 此外,我们还可以使用Spark SQL的insertInto语句将数据插入Hive。例如: ```scala data.createOrReplaceTempView("temp_table") // 创建临时视图 spark.sql("INSERT INTO TABLE my_table SELECT * FROM temp_table") ``` 这将使用INSERT INTO语句将从临时表"temp_table"选择的数据插入到"my_table"表。 综上所述,以上是Spark 3.0写入Hive的一般步骤。通过设置Hive支持并使用DataFrame的write方法或Spark SQL的insertInto语句,我们可以将数据写入Hive并进行管理和查询。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DataPulse-辉常努腻

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值