Shell脚本中执行Hive语句插入中文数据乱码

最新推荐文章于 2022-11-24 18:44:16 发布
最新推荐文章于 2022-11-24 18:44:16 发布
阅读量1k 收藏 7
点赞数
分类专栏： Hive 文章标签： Hive Shell 中文乱码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38023225/article/details/105846093
版权

问题描述

通过shell脚本插入数据到hive数仓，出现中文乱码。而单独通过hive查询窗口插入中文数据不乱码

 

原因分析

Shell脚本解析Hive语句中的中文乱码，导致Hive插入中文数据乱码

解决方案

Shell脚本头部加上语句   export LANG=zh_CN.UTF-8

 

再次执行，中文乱码问题解决

 

月正明
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
向hive插入数据时出现中文乱码
IceelfLuo的博客
08-10 1099
问题顾名思义，在通过shell或hue向hive插入数据时，有可能出现中文乱码。和运维GG聊了一下以后，说这个是集群缺陷问题，以后会解决。 那眼下的处理方式呢？我想了个简单的办法： --出现乱码 insert into temp.Iceelfluo_featurelist PARTITION(ymd='2020-08-10') values ("3517146571244","张三","6","0","3"); --不出现乱码 insert into temp.Iceelfluo_featurelist
hive中文
chushang0934的博客
09-14 289
hadoop、hive都支持UTF-8编码，我们可以使用UTF-8编码来处理中文 以下两点需要注意： 1. 处理脚本为UTF-8格式，包括建表脚本，数据处理脚本 例如：如果在windows下使用ultraedit来写HQL程序，在保存文件的时候，保存格式为UNIX类型、UTF-8格式 2....
Linux操作系统的Shell环境中输入中文(转)
08-16 1105
Linux操作系统的Shell环境中输入中文(转)[@more@]要在linux的终端中输入中文，必须安装中文支持软件，CCE（Console CJK Environment）是其中的佼佼者，安装简易，使用方便。 一、CCE的安...
hive 客户端调用脚本无法处理中文问题
汪翰翔的Blog
05-21 6398
export LANG=en_US.UTF-8 export LC_CTYPE=en_US.UTF-8 export LC_NUMERIC=en_US.UTF-8 export LC_TIME=en_US.UTF-8 export LC_COLLATE=en_US.UTF-8 export LC_MONETARY=en_US.UTF-8 export LC_MESSAGES=en_US
解决mongodb启动时报locale错误以及linux终端或hive CLI无法输入中文的方法
jxlhc09的专栏
12-02 1558
在安装完mongodb后，进入$MONGODB_HOME/bin  执行mongod启动时报 exception in initAndListen: 14043 clear tmp files caught exception exception: locale::facet::_S_create_c_locale name not valid, terminating 从error信息可
Mysql元数据如何生成Hive建表语句注释脚本详解
01-19
最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive表字段注释修改语句。 注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法...
shell中循环调用hive sql 脚本的方法
09-15
本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句，以便实现批量处理数据或者执行一系列相关的查询操作。 首先，我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言，主要用于...
hive-shell批量命令执行脚本的实现方法
09-15
本文将详细讲解如何使用Hive与Shell结合，实现批量执行Hive命令的脚本，这对于数据处理和ETL（提取、转换、加载）流程来说是极其有用的。 首先，我们需要设置Hadoop和Hive的环境变量。在上述脚本中，`HADOOP_HOME` ...
使用shell脚本执行hive、sqoop命令的方法
09-15
今天小编就为大家分享一篇使用shell脚本执行hive、sqoop命令的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
shell文件执行hive语句
weixin_42264992的博客
04-26 2496
shell文件中执行hive语句，并将结果保存到csv文件中。
shell调用hive sql
超的专栏
03-15 3441
shell hive sql
shell执行hive sql 中文乱码，hue执行中文正常
xuewen_1008的博客
08-03 667
在CDH集群搭建完成后开始搭建数仓部分，首先是在HUE下执行sql等，一个产品线由ods->dwb->dwd->dws 就绪后开始配置脚本，可是在脚本中有些是对中文字段的处理，定时执行后的脚本中文全部乱码。经过一通折腾问题解决。 乱码、对中文截取（包含市的，将市截掉）不起作用（乱马引起） shell脚本最开始地方加入 export LANG=zh_CN.UTF-8 ...
Shell 脚本插入mysql数据库中文字段值乱码问题
编写博客，学习交流
06-03 1039
问题描述 我在shell脚本写了一段insert到mysql的语句，测试语句如下： mysql -h*** -P3306 -u*** -p*** -D *** -e "insert into test values('123456', '测试')"
hive 数据仓库过滤 非法字符，不可见字符，乱码
Cincinnati_De的博客
12-03 6069
接收到服务器端传回来的数据以后，入到了hive表当中，发现一些url 的传参是乱码的。这时候，需要进行过滤。 例如: select uri from table limit 10;   在ascii 码表中，可见字符的范围是：32~126   利用这个思路，在写sql的时候步骤如下: 1、将url进行切割 例如:  new-project?email-verificatio...
【数据库】向MySQL数据库存中文显示乱码
哈士奇
12-28 7257
一、前言      数据库是我们软件开发中一个非常重要的组成部分，以前小编使用的是SQL Server，没有遇到过存储的中文是乱码的情况，后来在ssh的项目中使用的是MySQL的项目，遇到了乱码的问题，只要向数据库中存储中文数据就会是乱码，存储英文就没有问题，小编通过研究了研究把这中问题总结了一下：二、乱码解决方案      想到乱码自然而然的想到了是数据格式不对的原因：于是小编研究了自己的代码的格
数据库中文乱码问题总结
weixin_43249204的博客
11-15 3103
通常在建一个数据库或表的时候对一个字段设置了CHARACTER SET utf8 COLLATE utf8_general_ci。 DEFAULT CHARACTER SET utf8：数据库字符集。设置数据库的默认编码为utf8，utf8中间不要"-"； COLLATE utf8_general_ci:数据库校对规则。ci是case insensitive的缩写，意思是大小写不敏感；相对的是cs...
解决Hive中文乱码问题
duyenson的博客
11-24 4183
hive中文编码问题
hive中解决中文乱码
weixin_33881050的博客
09-03 1334
一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为  jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true ③普通情况下咱们的mysql默认编码是latin1,但是我们在日常...
hive执行insert插入中文乱码
weixin_34148340的博客
11-22 2119
修改终端为ISO-8859-1编码 java代码： new String(sql.getBytes("UTF-8"),"ISO-8859-1"); 本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/2061853，如需转载请自行联系原作者 ...
写一个shell脚本，查询hive语句并插入另一 表的多个分区
最新发布
05-31
以下是一个简单的shell脚本示例，用于查询Hive表并将结果插入到另一个表的多个分区中： ``` #!/bin/bash # 定义变量 source_table="source_table_name" target_table="target_table_name" partitions=("partition1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值